Opinião sincera de alguém que está passando por isso:
Esse "não quero relacionamento sério" é na

verdade um "não quero relacionamento sério COM VOCÊ", porque na primeira oportunidade, ele vai te descartar e vai te trocar.
Como sair? Simples, tenha uma conversa séria com ele falando do que VOCÊ QUER, e veja a reação dele. Diga que só vai continuar insistindo caso ele queira algo mais sério, vulgo namoro. Se passar de 1 mês e ele não te der uma resposta plausível, tenha uma última conversa falando que deseja a amizade e que ficará por isso mesmo.
Caso contrário, ele só vai te usar e te machucar profundamente.