Você não está sofrendo por falta de rótulo, está sofrendo por quebra de vínculo. Rotina,

frequência, dormir junto, deixar coisas na casa do outro, isso cria laço emocional, mesmo sem ‘namoro oficial’. Então para de se invalidar achando que não tinha direito de doer.
Sobre a menina na casa dele: você tem toda razão de sentir isso como um limite quebrado. Não é sobre sexo, é sobre território emocional. A casa dele era um espaço que simbolizava vocês. Ele sabia disso. Levar outra pessoa pra lá não foi ingenuidade, foi escolha. E você não é obrigada a relativizar algo que te feriu profundamente.
Agora o ponto mais importante: não tente racionalizar para voltar. Nem tentar ‘entender’ demais para aliviar a dor. A frustração que você sente é o luto daquilo que parecia estar se construindo. E luto dói mesmo.
Se até o ex marido apareceu para aconselhar, é porque a ferida está visível. Use isso como sinal de cuidado com você, não de fraqueza.
Vínculo quebrado só se resolve com distância e honestidade interna. Você não perdeu alguém perfeito. Você perdeu uma versão que só existia enquanto você se esforçava mais do que ele.
Vai doer um pouco. Mas passa. E passa mais rápido quando você não se trai tentando aceitar o que já sabe que não aceita.