Essa explicação daria um livro.
Mas basicamente o cara tem o pico do encontro erótico

(e não só do sexo) no orgasmo. Num livro que eu li e recomendo bastante, chamado "Erotismo", do italiano Francesco Alberoni, ele compara esse momento como quando se lê um romance policial e se descobre o assassino, o resto deixa de importar. O prazer sexual vira um combustível para o homem se projetar, e por isso ele quer estar longe, seja dormindo ou indo pra casa fazer as coisas dele. Já a mulher precisa desse momento pós-sexo porque é a validação de que o homem a quer pra valer. Então ocorre um choque entre essas duas necessidades. Enfim, dá muito pano pra manga, mas, no geral, o que eu entendo é que o homem não faz por mal. É parte da higiene mental dele.