Difícil dizer, tem que ter confiança na pessoa antes disso, se certificar que não é nenhum dodói na cabeça, mas geralmente só o número não tem problema, já que a privacidade dos dados de quem porta é algo que precisa ser assegurada pela operadora.
Tenha sempre dois números, um para coisas mais pessoais como bancos, família e contatos importantes.
E tenha um segundo número apenas para whatsapp, pronto, dai você fica "livre" para passar seu número para quem quiser já que ele não está vinculado a nada, senão o WhatsApp.
É mais fácil vc tomar um tiro de um bandido da sua cidade do que um maníaco na Internet que mora lá na pqp que, de alguma forma, consiga seus dados através do número do celular para te fazer algum mal.