É uma dificuldade e também uma seletividade do seu jeito de ser.
Eu faço muita amizade

com mulher só que meu critério é diferente: tem que ser casada ou comprometida, em geral, não pode me causar atração ou expectativa nenhuma no âmbito amoroso ou sexual. Aí eu me sinto a vontade para fazer amizade e conversar.
A atração me atrapalha de conversar, porque eu fico ali na minha mente com medo de transparecer isso para a pessoa durante a conversa.