Nem sempre, acho que o contrário atrapalha muito mais, meu caso mesmo pode servir de exemplo: não tenho beleza física, mas tenho uma boa "essência interior", só que ninguém até hoje viu isso (ou não quis ver), resultado: nunca namorei, nunca atraí ninguém e estou virgem até hoje.
Se houver preconceito entre os caras que você flerta, sim, pode atrapalhar. Há pessoas que se sentem inseguras em chegar em alguém com uma boa aparência, há os que pensam erroneamente que as mulheres mais bonitas só gostam de dinheiro ou que elas traem mais. Há também os caras que só chegarão em você querendo aventuras sexuais. Ou seja, tanto a falta de beleza quando a presença dela podem atrapalhar, dependendo de como as outras pessoas interpretam isso.