Primeiramente a maneira dele agir já está muito desalinhada para alguém que decide transar, porque

prazer no sexo é um dos primeiros pontos a considerar, é um dos fundamentos de se transar, importar-se com o prazer do outro nem é esperar demais da outra pessoa, é o mínimo que alguém que transa tem que fazer, dar importância para como o outro se sente no sexo e nem é sexo casual que mesmo assim a pessoa deve se importar, ele é seu namorado e não se importa.
O fato de você demorar para entrar no clima, que leva você a pensar se o problema é você, pode ser que você demora mais porque ele não contribui de forma positiva, não sabe conduzir e também os homens costumam ficarem prontos com mais facilidade, em mais variadas situações, então você também deve buscar ficar relaxada, à vontade e com pensamentos mais voltados ao momento, mas a atitude dele sem dúvidas não ajuda, só intensifica para que não seja bom para você.
O problema maior aí pelo seu relato é ele, o recomendável é que você pense se você não está fazendo coisas que não te deixam no clima, como ficar insegura com alguma coisa, pensar em coisas aleatórias, preocupações, mas o problema é ele, pelo seu relato fica claro que ele não favorece muito um clima saudável e propício.
Se ele não mudar isso, não parece viável continuar, imagina se um dia ele for seu marido, sendo que o casamento por si só já traz certos desafios para a vida sexual.