Tenho vergonha do meu namorado morar na favela

Estou namorando e gosto dele, mas não sabia exatamente aonde ele morava.. Essa semana fiquei sabendo que é em uma periferia.. Fiquei bem chateada e acho que devo terminar.. pois nem poderei frequentar a casa dele!
Como posso dizer isso sem magoar ele?