Pode ter sido por causa disso sim.
Talvez ele ache que você vá relutar em ir

pra cama com ele, ou que vai ter medo de fazer as coisas.

Eu particularmente não acho que isso seja motivo pra se afastar, mas cada um pensa de um jeito.
Mas pode ser que o motivo do afastamento seja outro também, ainda não dá pra tirar nenhuma conclusão precipitada.