Olha, melhor arrumar outro pa. No sexo casual ambos tem q estar cientes disso. Se vc sabe q ele quer voltar, melhor não se relacionar com ele. Estaria iludindo ele.
E depois dizem que nós homens é que queremos relações sem compromisso. Nada neste mundo obriga vc a aprofundar as ligações com o pai do seu filho. Vc é livre, pode escolher com quem e como vai ficar. Então não vejo dilema, a melhor forma de se relacionar é sendo firme e verdadeira. Se ele realmente gostar de vc vai lhe agradecer por ainda ter atração física por ele e a vida vai cuidar de acertar as arestas.