Caso complicado com um cara

Há mais ou menos 3 semanas, comecei a dar uns pegas no porteiro do meu prédio
A gente tem uma química incrível e um papo massa
Ambos comprometidos, eu namoro e ele é casado.
No dia 30/06 foi a última vez que ficamos, no dia seguinte eu passei na portaria pra ir trabalhar e falei com ele normalmente, ele disse que fui fria mas que talvez ele é que fosse emocionado.
No outro dia, notei ele mais na dele, perguntei se tava bem, ele disse que tava com problemas em casa e que depois que a gente começou a ficar e ele se sentiu mais de boa e passou a questionar coisas em casa, que ele n discutia antes pra n ficar sem sexo.
Aí disse que tava se sentindo culpado e com medo de perder tudo
Mas que n quer que eu me afaste. Falei que não ia mais atrás dele que até mudaria minha rota, mas ele disse que não era pra tanto, que era só neura dele.
Aí eu viajei, uma semana depois, no caso ontem, o vi na portaria e conversamos por mais de 1h
Ele disse estar um pouco melhor mas preocupado pq tá com muitas dividas e quer outro emprego pra melhorar de vida. Comecou a estudar pra um concurso que indiquei a ele
Soltou algumas piadinhas mas nada demais
Mandei msg dizendo que ele era uma tentação, ele mandou uma carinha envergonhada e só
Queria saber se realmente essas questões financeiras afetam de fato os homens e se ocorre esse peso na consciência, uma vez que ele é que tomou iniciativa.
Ele disse que me curte muito mas tô sentindo ele meio estranho, cauteloso, sei lá.
E eu tô doida pra pegar ele de novo, ele disse que TB tá, mas botou freio
O que fazer ?