É difícil pq você não quer magoar a pessoa, né, principalmente se for alguém que você gosta, fora que é algo rude. Mas não acho que esse é o único motivo. Mesmo se a pessoa não for muito atraente, se ela se vestir bem, andar sempre cheirosa, ter carisma, alguma coisa consegue.
As pessoas se acostumaram tanto com falsidade, que sinceridade chega a ser ofensivo. Mas tem aquele detalhe, geralmente não queremos magoar alguém que gostamos então é mais fácil justificar com outras desculpas.