Depende. Se for unicamente por carência afetiva, não.
Essa fase pode passar,

ser preenchida, por exemplo, com um novo relacionamento, filhos... E essa criança, gerada num momento de fragilidade estaria no meio desse turbilão emocional, psicólogico e "sozinha" pois foi-lhe negado a sua origem parental.

Conscientemente, por esse motivo citado no tópico, eu também acho que, o direito da criança( viva, ser humano) está acima da dos pais. Nesse caso, eu acho que, estabelecer um vínculo entre o pai, parentes paterno seria bom para a criança.
Porque, crianças crescem, procuram identificação, fazem perguntas...E esse filho, provavelmente - msm entendendo em quais condições/circunstâncias foi gerado- vai querer ter uma referência consanguínea.
Além disso, vínculo com a família materna é essencial tb, essa criação não pode ser totalmente "independente" sob risco de causar codependência em ambos, fatores sociais, financeiros etc...É bem complicado se analisarmos bem, vai além do direito do pai em prover ou em auxiliar financeiramente, afetivamente idem o da mãe, há/haverá, uma criança no meio de td isso.