Estou sendo injusto ao preferir morar com homens? Como fazer a transição sem parecer insensível?

Resumindo a situação: morava com minha ex em um apartamento no centro, terminamos, e para evitar a multa do contrato, aluguei para uma garota. Inicialmente, foi legal, mas aceitei outra menina depois e agora o convívio não está bom. Descobri que falam mal de mim no Twitter. Surgiram interessados para dividir, especialmente homens que compartilham meus interesses. Quero mudar, mas como fazer sem parecer insensível? Estou sendo injusto? Quero conselhos antes de abrir vagas.