Acho que fraco nesse sentido deve significar "amolecer" . Então quando uma pessoa fala que

"sua voz me deixa fraco", talvez ela esteja dizendo que a tua voz deixa ela boba, com o coração mole.