Eu não acho nada demais, se os dois se gostam, a personalidade bate e tem atração fisica o suficiente está tudo bem. As divergências poderiam ser nos interesses mais imediatos, porque a pessoa de 20 está numa fase que quer experimentar mais as coisas e geralmente vai querer mais liberdade para isso, enquanto a de 40 já quer ter filhos, um relacionamento estável já visando casamento etc.
Ela sendo de maior não tem problema.
Não vai faltar pessoas pra fofocarem e criticarem a vida alheia, mas se os dois são felizes juntos, não tem pq deixarem ser levados por isso.