As vezes ele tá só dando um tempo e evitando discutir já que não estava

sentindo a relação ir tão bem (essa pode ser uma forma de defesa pra evitar coisas drásticas, como um término por exemplo).
Tenta ter uma conversa agradável com ele sem discutir pra ver se ele vai voltando aos poucos.
Se ele nunca te deu motivo pra desconfiar dele, tenta não ficar colocando minhoca na cabeça.