Se moram juntos e ele contribui nos gastos da criança, tem total direito. Seria muito

fácil querer só a parte boa de ser o "pai" da família e não dar o direito de agir como tal.
Não que precise bater, mas infelizmente tem momentos que é necessário. Eu fui criado sem violência, mas apanhei às vezes quando foi necessário, isso foi muito bom pra mim como pessoa.

Agora, se não moram juntos e ele não contribui com os gastos e cuidados da criança, aí realmente ele não tem nada a ver com a criança.