Contanto que você faça sexo ocasionalmente, não é prejudicial.
Mas se não for transar, é bom pelo menos exercitar a região pra evitar problemas de desuso peniano.
Leia muito sobre esse assunto e compreenda o que está se propondo a fazer, depois verifique se está alinhado ao teu objetivo e manda ver.
Eu também não me masturbo e te digo, tem seus problemas, mas no geral os beneficios são notorios e tem sido ótimo pra mim.