Como dizer pra ele que ele não faz meu tipo, sem magoar?

Converso, com um rapaz tem algumas semanas, já conhecia ele há um tempo, e sempre fui educada e simpática, agora do nada, se "encantou" por mim. Saímos uma vez e ficamos (só beijo), e estamos conversando desde então há quase um mês.
Ele é legal, divertido, mais não faz meu tipo, tanto fisicamente quanto de personalidade, em coisas que não abro mão. Tem algumas coisas que não curto, mas nem ligo.
Tenho o sério problema de querer agradar a todos, e sempre que fiquei com alguém foi assim, a pessoa fala bonito mas não me atrai, ou me atrai mas é o uó, e tbm nunca perguntaram se eu gostava ou me sentia atraída por eles. Ai eu ficava e conversava pra não magoar....mas cansei, não sou obrigada!!
Me ajudam?!