Não necessariamente.
Se você só não curte estar perto, mas nada faz concretamente contra eles,

nada mais está fazendo do que exercer um direito.
Não querer se relacionar com pessoas de certo tipo não tem nada de errado. Seria tipo eu, que não gosto de me relacionar com pessoas que são promíscuas. Eu sou "promíscuofóbico" por isso, uma pessoa que tem ódio e não gosta que essas pessoas tenham suas liberdades? Não. Se uma chegar em mim, a tratarei normalmente, mas não irei querer uma relação mais próxima com ela. É simplesmente uma conceito que tenho na cabeça, uma visão, uma preferência.
Agora se eu dizer que toda pessoa promíscua é um lixo, que tenho ódio por elas, ou digo algo que vá contra seus direitos, aí já é outra história.