Não tem essa de destruir amizade, se você realmente sentisse algo por ele e quisesse

algo, você nem pensaria nisso.
A verdade é que você quer ele como seu amiguinho que você conta dos cara com quem ficou, e como eles te comeram e não como um namorado que vai te pegar na cama e agir como um macho, até porque se ele fosse um mesmo você não conseguiria ter uma "amizade" que nem você está fazendo agora, tentando arrumar motivos para não namorar.
Apenas diga que você não quer mesmo e acabou.