Se antes não acontecia, e depois passou a ser constante, é impossível não notar a diferença e ficar chateado. Você sente como se estivesse sendo "substituído/trocado".
É claro que isso também depende de pessoa para pessoa. Se for família eu nem ligo que demore, às vezes só respondo no outro dia, rs...
Agora, se for uma pessoa que você está começando a ter algum sentimento, é inevitável você não ficar um pouco triste com essa situação. Afinal, no fundo todo mundo quer receber atenção da pessoa que gosta, é mentira quem disser que não se importa nem um pouco.
Antes eu ficava, mas hoje não. A outra pessoa tem seus amigos e familiares, então é normal as vezes ela não ter tempo para exclusivamente com uma só pessoa.
Nesse contexto, seria normal. Acho que o que poderia causar incomodo seria a pessoa não estar inserido no contexto da conversa, tipo: se perder no que antes era conversado.