Contanto que você faça sexo ocasionalmente, não é prejudicial.
Mas se não for transar, é bom pelo menos exercitar a região pra evitar problemas de desuso peniano.
Leia muito sobre esse assunto e compreenda o que está se propondo a fazer, depois verifique se está alinhado ao teu objetivo e manda ver.
Eu também não me masturbo e te digo, tem seus problemas, mas no geral os beneficios são notorios e tem sido ótimo pra mim.
Eu já estou há quase um ano e meio, e não faço sexo porque não tenho com quem (a menos que pague, coisa que ainda não me animei a fazer); pode ser que cause algum prejuízo em termos de total desuso peniano, mas como no meu caso sempre fui solteiro e nunca tive ninguém com quem praticar nada, então nem me preocupo tanto assim.