Não sou homem, mas acho que você tem todo o direito desse mundo de querer

MUITO que ele fique com vc. E ele tem todo o direito de querer ou não. Respeite, se respeite, não seja intransigente e não perca a sua dignidade. Se está tudo bem para vc ficar só de vez em quando, ok. Mas se para vc não está bom, vc quer mais que isso. Fale, deixe claro. E se ele tiver que ir. Deixe que se vá. Fique com quem faça questão de ficar também. ;)