Fale a verdade, diga que não quer mais, só diga isso de forma educada, sem citar sobre o ser broxante nem nada disso, guarde essa opinião para si mesma por hora.
Explica a situação, sem você dizer a situação.
Tipo fala para ele que vocês são muito diferentes e que talvez não se interessou tanto o quanto pensava que iria se interessar.