Depende do motivo pelo qual você não quer se relacionar com ela.

Se o motivo for

relacionado à exposição, e você sendo uma pessoa mais pacata, prefere uma vida mais discreta, é apenas um gosto pessoal, nada a ver com machismo.

Mas se o motivo estiver ligado a um pré julgamento imaginando que por causa disso a mulher não vale nada, é uma vadia e bla bla bla, dai sim é você é machista.

As pessoas não entendem que o motivo é o principal fator de uma ação e não o contrário.