Com certeza, ele pode ter interpretado isso como uma rejeição da sua parte, também pode

passar a ideia que ele não está mais te agradando.

Certas palavas, ditas de maneira errada ou confusa, ou em momento de raiva ou desabafo, podem afetar sim o que se passa na cabeça de um homem.

Ele pode realmente ter entendido isso sob outro contexto, e não da forma como você queria passar.

O ideal é que você converse com ele, explique a situação, e qual o sentido que você falou isso, para que não fique um mal entendido na cabeça dele.

Afinal, dizer para o namorado que prefere 'se tocar', do que transar com ele, é uma ducha de água geladíssima que você jogou nele.

Boa sorte!