O que fazer quando o namorado se sente desprezado?

Nos últimos dias tem ficado algo bem estranho entre eu e meu namorado. Saímos para beber um vinho e comer pizza e de lá iríamos pra casa dele e tals, fazer o que todo casal faz. Acontece que assim que eu deitei na cama, eu dormi, e não fizemos nada. Quando isso acontece (já aconteceu uma ou duas vezes), ele sempre fica mais fechado comigo, acho que pela frustração de não ter rolado nada (e é triste falar isso, mas eu não beijo mais ele com frequência nem transamos muito, por isso tanto eu quanto ele criamos muita expectativa quando temos oportunidade de ficar na casa dele). Eu também fico assim, mas mais pela reação dele do que por ter dormido (eu não podia controlar, eu estava meio bêbada).
Ele acabou ficando mais distante de mim e eu comecei a ficar ansiosa. Eu sabia que ele estava daquele jeito porque que a gente não trocou nenhum carinho naquela noite, mas eu não estava coseguindo lidar com isso, e não teve outra, quando a gente se viu de novo eu acabei chorando e ele na mesma, apático; no outro dia, combinamos de nos ver de novo, mas parece que foi pior. Ele falou que sentia desprezado, que eu não tratava ele igual um urso de pelúcia, que não se sente desejado e que talvez eu só estivesse com ele porque eu tive problemas com o meu pai e precisava de alguém pra suprir o vazio. Eu me dei conta de que nada do que ele disse era mentira e fiquei mal mesmo. Não é como se a nossa relação fosse só isso. Tivemos muitos momentos e fases boas. Mas agora, eu estou em dúvida mesmo. Estou com medo do que pode acontecer nos próximos dias. Eu que a gente terminasse, mas ele disse que se ele quisesse terminar já teria feito isso, ele falou aquilo porque queria que entendesse o que ele sentia. Estou paralisada. Não sei como agir. Não quero falar com ele, tenho medo de agir e parecer que simplesmente estou fingindo. Não queria que ele se sentisse assim, mas não sei como agir. Se alguém tiver vivido algo parecido, poderia, por favor, falar como lidou com isso?