Irritar não é bem a palavra, mas pode incomodar um pouco sim. Pessoas muito frias

e desapegadas transmitem a sensação de que não se importam com o parceiro e isso a longo prazo pode ser fatal para o relacionamento.
O ideal é haver bom senso. Um ciuminho bobo aqui e outro ali evita que a relação fique monótona demais e caia na rotina.