É errado não querer a amizade de alguém mesmo essa pessoa sendo uma boa pessoa?

Tem um cara que estou tentando me afastar (mas ele vem atrás de mim), eu reconheço que ele é uma boa pessoa, mas não temos afinidades, algumas falas e atitudes dele me incomodam, além do mais acho ele uma pessoa ENTEDIANTE. Nos últimos meses parei pra refletir sobre nossa "amizade" e vi que eu me forçava a gostar dele, que só era amiga pq ele é um bom ombro amigo, mas a pessoa dele em si pra mim sempre foi desinteressante, me senti mal por isso e resolvi me afastar.
O problema é que minha mãe implanta em mim o sentimento de culpa dizendo que estou sendo muito arrogante, que eu escolho demais as pessoas e vou acabar sozinha por isso. Enfim, ela me julga como alguém babaca por isso, fala que um dia vou precisar das pessoas e não posso "desprezar" ninguém (detalhe ela gostava muito desse menino).