Se ele diz que não se importa e ainda está com você, é porque realmente

não se importa!
A meu ver, está claro que quem realmente liga para isto é você! Eu imagino que deva ser muito difícil, nós mulheres temos o "dom" de ficar procurando e nos atentando às nossas imperfeições o tempo todo, é frustrante isto, mas tente superar. Ele não liga, esteja bem com isto e, pouco a pouco, tente você também não ligar.