「Sorry to bother you.」（忙しいところすみません。お手間かけてすみません。）はビジネスシーンで耳にしたことがあるけど、それをスラング的（？）に「ムカつかせてごめん」っていうのは、「bug」（虫）を使っていうことが出来る。
「bug」には動詞で「ムカつく、イライラさせる、悩ませる」と言った意味があるので、そのまま「Sorry to bug you.」。
別にこの形態に拘らず、「bug」をスラング動詞として使うことも多々。
Don’t bug me. I don’t have time. 邪魔しないでよ。時間無いの。
I don’t wanna bug you but I need to cancel it.
困らせたくはないんだけど、これキャンセルしなくちゃいけないんだ。
You are really bugging me. Stop it please. 本当にウザったいんだけど。やめてくれますか。