Não, na verdade você provavelmente vai parecer mais bem arrumado que a maioria (dependendo também de como você vai usar, tipo, como vai combinar com a calça e tênis, mas a possibilidade de errar é menor)
Acho que se ele tiver camisas floridas estilo anos 70 é pior.
Nesse caso, eu recomendo rastrear bem o celular dele antes do relacionamento ficar mais sério. Para o bem ou para o mal...