Como que eu faço isso?

Ouvi alguns cochichos sobre mim, são pessoas importantes pra mim, não ouvi direito do que se tratava mas era pejorativo, um cochicho ruim, falado pelas costas. Como faço para abrir esse assunto com a pessoa sem dar uma de ouvi pelas paredes ou a pessoa falar que não disse nada e desconversar. Porque quero esclarecer, não queria me afastar sem ter a certeza do que realmente estavam falando pelas minhas costas.