Definitivamente não está sendo egoísta não. É natural, numa rotina tão estressante, que queira sua casa para ficar, e pelo que vi, você o ama muito.
Pois bem, deixa eu te perguntar: você acha mais importante para seu íntimo e para seu bem-estar ficar na sua casa e dormir lá uma vez na semana ou o contrário? Se for na sua casa, converse sinceramente com ele e diga o porquê de escolher isso. Diga de forma empática que isso não tem a ver com a condição dele, e que você apenas quer um tempo para você, o que não é errado. Com conversa - e se ele te amar mesmo - vai ficar tudo bem. Agora, se quiser ficar com ele, aí tudo bem, até porque, na condição dele, super compreensível ele querer você por perto. Ele passou por um trauma, deve ter temido a morte, e é natural que ele a queira por perto.
Ou...você pode fazer algo que equilibre as duas coisas: conversar com ele e planejar para, semana sim e semana não, alternar entre dormir na sua casa e na dele. Acho a terceira via mais equilibrada, literalmente.