Como dar o fora em um amigo sem magoar ele?

Ele me perguntou do nada se eu ficaria com ele e eu disse que não sabia (só para não dizer que "não"). Depois, ele disse "claro que seria depois da pandemia", em resposta à minha ideia de não fazer nada nessa pandemia para não me contaminar, e eu disse "sim, claro". Acho que o erro foi meu, porque eu não consegui ser clara e dizer que não quero ficar com ele e agora ele está achando que vamos ficar. O que faço? Eu não consigo ser direta assim e dizer "não" porque morro de medo de machucar os sentimentos dele ou de qualquer outra pessoa, aí eu tomo no botão.