Pode ser, não vejo problema nisso.
Tive relacionamento assim,só sexo casual, era um super amigo, conversávamos qualquer coisa,tomávamos uma cerveja fim de semana e de quebra tinha um sexo inesquecível.
Acho que ele quis dizer IMORAL.
Não tem nada de imoral em sexo casual. Não é crime, não é pecado capital, não é contravenção.
Se tiver vontade, faça. Vc não deve satisfação pra ninguém.