Devo me preocupar sobre isso na relação?

Se vc estiver passando por um período de estresse, ansiedade ou depressão, pode ser uma das causas.
Geralmente é uma condição mais psicológica, que faz isso acontecer. Se for o caso procure tratar essa condição
Já ouviu falar sobre pompoarismo masculino?
É uma técnica muito interessante q pode te ajudar a controlar melhor a ejaculação.

*...sempre q fazemos sexo gozamos juntos,*
Sempre!? Não creio... rola sincronia até no gozo...
Bem, ejaculação preoce pode ser por vários motivos. Vai ver q esse de "gozar sempre juntos" seja um(psicológico). Daí você n quer ser egoísta, coloca isso na sua cabeça e acaba gozando: antes da sua esposa. Se for frequente, procure um médico.

Rápido quanto? Fora do comum ou sente tanto prazer q não consegue segurar?
Já pensou que pode estar querendo q a transa termine logo? Com o tempo de relacionamento é normal querer q acabe logo a transa...
Se isso te incomoda, procure alternativas para segurar o gozo... Faça mais preliminares.

Você disse que ela sempre goza, talvez não exista um problema. Em todo caso se você goza rápido use um tempo de qualidade para dar prazer à sua esposa sem penetra-la. Use e abuse das preliminares, a faça gozar no oral e masturbação. Pesquiase sobre sexo tântrico e sobre massagens eróticas. Deixe para penetra-la no final. Tem mulheres que não atingem o orgasmo com penetração, se for o caso dela, ela vai ficar muito satisfeita. Mas se ela for das que gozam com penetração, mesmo que vc goze rápido, ela não perdeu de zero, por assim dizer. Ela não de ficar com a sensação de que você não se importou com o prazer dela.
Busque técnicas e tratamentos para prolongar seu tempo na penetração.

Você conversou com ela sobre isso? A especulação não é boa para o relacionamento