Sim, por que mostra que não está aberta a aproximação!
Eu mesmo nunca se senti atraído por mulher séria demais, as extrovertidas sempre me conquistaram, sei lá mulher séria, parece que está sempre de mal com a vida, não que esteja é só o jeito dela, mas evito de me aproximar.
Não é questão de intimidar mas sim de não ser benefício conversar ou ter uma relação com a pessoa. Eu por exemplo não sou nenhum palhaço mas gosto de trocar piadas e conversas divertidas com os outros. Quando vejo que a pessoa é muito séria, fechada e não se abre pois não quer, paro de puxar assunto.