O que eu falo pra ele?

Parabens pelo pensamento correto e por querer tomar essa atitude. Evita falar com ele e quando ele vier nao toca no assunto se ele falar ai tu muda de assunto diz q nao pode falar no momento e vai evitando aos poucos ele vai se tocar q tu nao quer ou pode falar a verdade pra ele acho q fica melhor e se ele for realmente teu amigo vai entender.

Dá pro amigo logo.

Você tem que agir feito uma mulher e colocar um ponto final nessa palhaçada toda se afastando e cortando os laços com esse amigo, sob pena de estragar seu relacionamento com o teu namorado.

Nao toque um amor por uma atração física

Em primeiro lugar você precisa entender se realmente ama o cara com quem está.
Não entendo essa de ser atraída por um cara enquanto ama outro.
E sim, vocês está traindo o seu namorando dando moral para esse tal amigo, falando sobre vocês (?) .
Mas respondendo sua pergunta.. para se afastar é só não falar mais com ele. Por que as pessoas gostam de fazer perguntas óbvias? Não o procure... diga a ele que precisa se afastar porque está confundindo as coisas e não o deixe em vistas (ou seja, nada de seguir ele nas redes sociais e coisas do tipo).