Homem assim é comum? Estou errada em desistir?

Tenho uma amizade com um cara há cerca de 4 anos. Porém, começamos a ficar há um pouco menos de 6 meses.
Ele tem 44 anos e eu, mulher, 30 (ambos divorciados). Trocamos mensagens quase todos os dias. Ele é uma pessoa legal, profissional, mas eu não conhecia um outro lado dele.
Recentemente, ele me contou que gosta de putaria. Ele tem 2 celulares: um particular e outro só para putaria.
Quando a conversa esquentava, ele perguntava se outros homens mandavam mensagens para mim querendo me comer, dizendo que isso dá fetiche nele, pois gosta de sentir que sou desejada por outros homens. Eu gosto dele e nunca dei importância para isso. Depois, ele começou a vir com umas conversas sobre eu ter interesse em colocar uma terceira pessoa.
Disse que eu poderia escolher uma mulher e ele escolheria um homem, pois queria me ver ficando com outra(o). Pediu para eu pensar, mas nunca foi de ficar me pressionando nisso. Mas enfim...
O que mais me incomodou foi que ele disse que jamais ficaria bravo comigo se eu estivesse ficando com outro e se eu ficasse era pra eu contar como foi.
Gente, isso é normal? Eu gosto dele, mas isso começou a me incomodar.
Parece que ele não sente ciúmes e outras vezes sente, acho que ele não gosta de mim, parece que não medo de me perder. Ele só fala essas coisas quando o clima esquenta, mas isso me deixa confusa. Eu não curto isso, já tentei me afastar dele várias vezes, fico sem mandar mensagem há dias, mas ele acaba me enviado mensagem, perguntando se está tudo bem, pedi por favor pra eu não sumir, porque gosta de mim, e fica preocupado quando eu sumo, e acabo voltando a falar com ele, como se nada tivesse acontecido, mas não consigo tirar isso da minha cabeça. Já tentei conversar sobre o porque disso, e me diz que na hora que ele tá excitado começa fantasiar essas coisas.
Qual a opinião de vocês sobre isso? Devo desistir de um homem assim? Será que realmente ele não gosta de mim? Pois estou pra sair fora.