Guardar rancor pra quê? Só vai te fazer mal!
Se ele te chamou e a briga

já acabou não tem o que discutir novamente, simplesmente é isso que ele pensa de você, eu nunca chamaria alguém que gosto de vagabunda, nem em uma discussão.
Mas deve por limites e mostrar que não que não gostou, nem sei o que ele é seu, mas também sei que não vai se afastar dele nem nada, foi só um desconforto e vida que segue.