Não existe regra pra ter amizades, mas por exemplo, os homens não achariam normal se visse um cara rodeado por mulheres, provavelmente eles iriam achar que o cara é gay ou simplesmente só quer ficar perto das mulheres.
Não é que seja regra, é algo que as pessoas acabam tendo idéias (muitas pessoas não aceitam ou acreditam na amizade de menino e menina). Mas vc não deve deixar a opnião dos outros afetarem sua amizade com seu amigo.
Tem, sim, só uma: ser feliz com as suas amizades e fazê-las felizes também. Apenas. Logo, se você está tendo amizades só com homens ou só com mulheres, mas cumprindo essa regra, não há problema nenhum. Simples.