Tem muitos motivos para isso.
Porém um que me vem a cabeça é o seguinte:
A testosterona

é o hormônio,
Mas esse hormônio é processado (de uma forma que não vou lembrar da explicação exata)
E se transforma em outras substâncias.
Depois essas substâncias se encaixam em receptores em vários órgãos (testículos, pênis, próstata, cérebro, etc)

Então perfeitamente possível ter a testosterona normal porém o corpo não estar conseguindo processar ou receber ela da maneira adequada.