Shamsuddeen Hassan Muhammad

Presentiamo IrokoBench per migliorare la valutazione dei LLM nelle lingue africane.

Un nuovo standard per valutare la conoscenza culturale nei modelli di linguaggio attraverso culture diverse.

Un nuovo metodo riduce le traduzioni imbarazzanti usando strumenti visivi nella raccolta di dati.

Gli aggiornamenti migliorano il dataset FLORES per Hausa, Northern Sotho, Xitsonga e isiZulu.

Valutare la comprensione delle lingue africane da parte delle macchine con l'Uhura Benchmark.