Agora se isso está atrapalhando a sua fala à ponto das pessoas falarem aquele famoso: "Eita, calma, respira!"
Quando a pessoa que você está conversando precisa esperar um tempo para você se reorganizar e continuar a falar, não é um bom sinal. Provavelmente não são disfluências comuns, seria bom ir no neuro e dar uma investigada.