Shamsuddeen Hassan Muhammad

Presentamos IrokoBench para mejorar la evaluación de LLM en lenguas africanas.

Un nuevo estándar para evaluar el conocimiento cultural en modelos de lenguaje a través de diversas culturas.

Un nuevo método reduce las traducciones incómodas usando ayudas visuales en la recolección de datos.

Las actualizaciones mejoran el conjunto de datos FLORES para Hausa, Sotho del Norte, Xitsonga e isiZulu.

Evaluando la comprensión de las máquinas en lenguas africanas con el Uhura Benchmark.