Na opinião de vocês, tem problema o ex-marido da minha mãe me levar no trabalho?

Depende mais da intenção do que da situação.
Se ele te leva com respeito, sem forçar nada e tua mãe não se incomoda...
Não vejo problema. Mas se algo te deixa desconfortável, já é um sinal.