A questão é o que tem por trás. Eu chamo uma pessoa específica de neguinho,

no meu caso é apelido carinhoso e ele sabe. Se você ta na rua, tropeça ou pisa no pé de alguém (exemplo só, pode colocar qualquer outra coisa aqui) e alguém diz "ô mas só podia ser uma neguinha mesmo..." com voz de desprezo, é diferente.
Tipo quando alguém te chama de "querida". Você não percebe quando a pessoa foi sincera ou quando chamou assim usando de deboche?

Edit: Vi que você disse sobre chamar alguém assim em uma relação. Pô, se tu tem relação com a pessoa, tem que ter comunicação, né... pergunte pra ele se isso o chateia. Além de livrar de inconveniências, ainda vai demonstrar que preocupa com os sentimentos dele.