Na verdade, esse comportamento não é bom para ninguém, então você não está errado, dá

mesma forma uma mulher não querer um homem assim também não.
Machismo seria achar que o homem pode e mulher não, dizer que homem pode e tachar a mulher de determinados termos.
Realmente há pessoas que já dizem que é machismo bastando um homem dizer isso, porque por haver atitudes machistas surgiram certos posicionamentos, há pessoas que não veem limites, há também pessoas fanáticas.