Há diferença entre inconveniência que dá para ignorar, e inconveniência incabível, como: Assuntos de cunho sexual vindo de uma pessoa com zero, média ou nenhuma intimidade.
Geralmente essas são minhas respostas:
"Não quero conversar com você."
"Você está sendo irritante."
"Você é digno de nojo."
"Eu não me importo, e não quero saber."
"Esse seu comportamento explica muita coisa."
Dependendo da inconveniência, poderá piorar.