Como ele ficaria mal por minha causa?

Foi criado pela vó, relaxa! Não é culpa sua.

Chupa o pau dele

Carência

Talvez seja apaixonado ou tem compaixão ou carência ou isso tudo junto.

Paixão não correspondida, é um fresco na verdade.

Ora, se vc nao quer nada com ele, deixa pra lá, vc nao fez nada de errado aparentemente

Da logo para ele

Da uma moralzinha pra ele rs

Extamente por você não ter feito nada. Ignorar ou mostrar-se indigente ao sentimento dele, magoa, muito mais do que dizer com palavras, não querer, gostar.
E voce não precisa ter que dizer ou se importar na vdd. Da mesma maneira, não deve se culpar por um sentimento que pertence a ele, sozinho, ele provavelmente supera essa paixão.