Fico insegura de um dia ele procurar fora o que não tem comigo? Como lidar com esse pensamento?

Bom, sou casada há 4 meses e meu marido tem desejo enorme de fazer relação sem camisinha. Recentemente, deixei ele colocar 3x sem só p/ sentir por dentro, fora do meu período fértil. Tentação de continuarmos foi grande, mas não continuamos com ele lá dentro sem.
Já tivemos várias conversas, brigas a respeito e optamos, que ainda não vamos largar a camisinha. Sei que tem métodos contraceptivos para fazer sem, mas eu acho muito arriscado só confiar em DIU ou pírula anti concepcional (fora que faz um mal danado para o corpo) e a camisinha é o único que me sinto confiável (ou aprendi a confiar pq eu era extremamente paranóica). E em consequência de tudo isso, mesmo meu marido dizendo que me ama e tudo mais, fico insegura de um dia ele procurar fora, o que não tem comigo. Sei que é besteira, mas fico realmente frustrada. Passa na minha mente, que ele possa querer colocar a jiromba sem encapar, em outra pessoa, que permita isso.
Já tiveram esse tipo de frustração? Como lidaram com isso?