Dá para por só para os contatos sim, alterando as configurações. Mas colocar só pra

uma pessoa, não.

Ou coloca pra ninguém, ou só pros contatos ou pra todos, incluindo aqueles que não são seus contatos (não estão adicionados na sua agenda).