Diferença de idade entre casal, isso pode ser um problema?

Tenho 28 e ele 51. O amo, ele parece mais jovem, ele me ama também. Mas tenho medo dessa diferença pesar no futuro.
O que vocês acham disso?