Depende. Pra gente que usa o mesmo alfabeto, essas línguas orientais que usam caracteres são, sem sombra de dúvida, as mais difíceis, mas se você estiver falando de domínio de uma língua de mesmo alfabeto, o Português com certeza é mais difícil pra esses gringos do que a língua deles pra qualquer Brasileiro (não em questão de pronunciação, porque, se for o caso, acho o alemão o mais difícil, mas de perfeiçao gramatical).
Algumas línguas tem plural, outras usam o masculino e o feminino pra coisas, mas só o português tem ambos e um número TÃO grande de tempos verbais.
É muito difícil explicar pra um gringo de língua inglesa, por exemplo, o porquê de caneta ser um substantivo feminino ou de um lápis ser masculino. É difícil também explicar pros franceses a existência do plural, e é quase impossível explicar pra qualquer língua a existência do Futuro do Pretérito e do Pretérito-Mais-Que-Perfeito.
Enfim, se pra gente já não tá fácil, imagine pra eles.