Se eu disser para o cara que "não quero ser mais uma na lista dele", como o sujeito vai entender isso?

Que vc o considera um cara galinha. Se ele não se ofender, é pq ele é realmente.