Sei que no futuro a diferença de idade vai pesar. O que acham a respeito disso?

Então, eu tenho 20 anos e namoro um cara de 40.
Tipo, eu gosto muito dele, de verdade.. mas em alguns momentos eu fico pensando no futuro, tipo, por conta da diferença de idade. Quando eu estiver com 30, ele vai estar com 50 e por assim vai.
E talvez quando a idade começar aparentar mais pra ele, creio que isso será um problema.
Eu acho uma situação muito complicada, pois até o momento a idade dele não está me incomodando, mas no futuro sei que vai pesar.