Iria. Me privar de frequentar um lugar por causa de outra pessoa seria dar muita

relevância a outrem.

Mas, claro, há exceção: Se por algum motivo minha presença lá fosse causar algum tipo de confusão, então seria melhor não ir mesmo.