Pegar carona com quem é comprometido é errado?

Sempre pego carona com um colega, quando se oferece a me levar mas vejo as pessoas comentando que eu não devia aceitar e que não pega bem mas não vejo maldade.