Depende da trolagem que vc fez.

Existem diversos níveis de trolagem, desde brincadeiras inocentes, sem

maiores consequências, até trolagens que ofendem a honra, a dignidade e o caráter da pessoa, ou a colocam em alguma saia justa com amigos, vizinhos, colegas de trabalho ou parentes.

Se foi só uma brincadeira da sua parte, inocente, ele está exagerando, apenas ignore.
Mas se foi uma trolagem "pesada", pode começar a se preocupar.