Ele faz "piadinhas" sobre minha mãe...

Olá. Namoro com um menino há um tempo, amo ele, mas as vezes (quase nunca, mas me magoa) ele faz umas piadinhas que eu não gosto, como quando estamos falando sobre minha mãe e ele fala algo de duplo sentido. Ele gosta dela, mas mesmo sem pensar as vezes faz umas piadinhas estupidas. Hoje mesmo ele fez isso e eu dei um tapa nele, ftaco na hora, mas me arrependi de não ter xingado ele. Acaba que fico com a MINHA consciência pesada de não ter a defendido pq amo muito minha mãe. Eu estou me sentido um lixo de não ter falado poucas e boas para ele, o que faço agora? Tenho uma conversa com ele? Fico muito mal pq o amo, mas não quero que ele faca esse tipo de brincadeiras...