É egoísmo não querer ter filho tão nova porque ele deseja?

Sim, tenha um filho mesmo que contra sua vontade.