O que ele quis dizer com essa frase?

Então, eu tava no bar, né? Aí meu ficante me viu lá e me chamou pra casa dele. Só que eu falei assim que não dava porque eu trabalhava no dia seguinte pela manhã, né? Aí ele falou: Não, mas vai agora. Depois te trago, não tem? Aí eu perguntei: Que hora você quer vir? Ele falou: A hora que você quiser vir. Eu falei: Mas eu vou ter que voltar. Aí ele perguntou: Você vai voltar pra cá? eu falei, para o bar? Eu falei: Eu tenho que voltar, né? Que eu vou trabalhar amanhã de manhã, entendeu? Aí eu acabei indo, nós foi por volta de uma hora. Aí quando foi três horas, ele falou pra mim ir embora, aí ele pegou e soltou uma frase assim: E olha que eu falei que ia voltar cedo, hein.
Na verdade, quem foi que falou que tinha que voltar cedo era eu, né? Que ele falou que a hora que eu quisesse vir ele vinha. Aí nós ficou de uma até às três horas. Aí no final ele falou: E olha que eu falei que eu ia voltar cedo, hein? Aí sei lá, parece tipo um deboche pra mim, uma indireta.a gente foi ter relacao sexual