Jak się pisze?
Obie formy mogą być poprawne w zależności od kontekstu.
Przykłady:
Wydaje mi się, że go irytuję. Nigdy mnie nie lubił.
Dlaczego Cię irytuję? Przecież jestem spokojny i prawie w ogóle się nie odzywam.
Spokojnie, nie irytuje mnie to.
Jego mama nie irytuje się nawet wtedy, gdy wszystko idzie nie po jej myśli.