Eu não quis ficar com ele, e agora ele vive me difamando

Através de uns amigos conheci um rapaz em uma festa, e ele quis ficar mas eu não quis, acabei ficando com o amigo dele, mas sem saber que era amigo ele (mesmo se soubesse, não veria problema, pq afinal, era uma festa), e ele ficou visivelmente incomodado. Percebi que o amigo dele ficou interessado em mim pelo modo como me olhava, mas tenho certeza que esse outro falou muito mal de mim para ele. Depois disso, saía com os mesmos amigos, e esse garoto que eu não quis estava junto, tentou ficar comigo outras vezes, sempre que ele tem a chance ele vive a insinuar que eu sou promíscua, mesmo eu não dando motivos pra isso, até então achava ele legal, esses dias descobri que ele disse que eu rebolei no colo dele e que eu quis ficar com ele, isso me deixou muito triste, pq eu nem estava lá para me defender, até porque tal fato não ocorreu. Seria a melhor opção ignorá-lo? Bater de frente com ele pode piorar? Perdoem o desbafo. Ps. Ele já fez isso com várias garotas