Novo Conjunto de Dados HAE-RAE Avalia Modelos de Linguagem em Coreano

Modelos de linguagem grandes (LLMs) mostraram habilidades fortes em várias tarefas, focando principalmente no inglês. Estão rolando esforços para adaptar esses modelos para outras línguas, mas a Avaliação desses modelos não tá recebendo a atenção que deveria. Os métodos existentes para avaliar modelos de linguagem muitas vezes envolvem traduzir testes em inglês ou usar conjuntos de dados traduzidos, que podem não capturar de forma eficaz características culturais e linguísticas importantes.

Pra resolver essa lacuna no idioma coreano, a gente apresenta um novo conjunto de dados chamado HAE-RAE Bench. Esse conjunto é feito pra desafiar modelos que podem não entender completamente a cultura ou o contexto coreano. Ele inclui seis tarefas em quatro áreas: vocabulário, história, conhecimento geral e compreensão de leitura. Diferente dos métodos de avaliação antigos, que focam em entender a linguagem e lógica básica, o HAE-RAE Bench prioriza a capacidade de lembrar conhecimento específico e informações culturais relacionadas à Coreia.

O desenvolvimento de modelos de linguagem e conjuntos de dados de avaliação andou junto, ambos se tornando mais avançados com o tempo. No entanto, a avaliação de habilidades multilíngues ainda é rasa. A maioria das avaliações atuais ainda se baseia em versões traduzidas de testes em inglês, que não refletem completamente a riqueza cultural de diferentes idiomas.

#Trabalhos Relacionados

#Modelos de Linguagem

A introdução dos modelos transformadores deu um super impulso à pesquisa em modelos de linguagem em inglês, com desenvolvimentos como o BERT e o GPT liderando o caminho. Modelos mais novos como o InstructGPT e o Flan-T5 também geraram mais interesse por causa da capacidade deles de seguir instruções. Vários modelos ajustados por instruções surgiram desde então. Apesar de muitos focarem principalmente no inglês, vários modelos para chinês e outras línguas também estão sendo desenvolvidos.

Uma pergunta chave surge: "Quantos tokens de linguagem um modelo precisa ser treinado pra criar frases coerentes que respeitem normas culturais e gramaticais?" Essa pergunta destaca a necessidade urgente de benchmarks eficazes que avaliem as capacidades multilíngues.

#Avaliação Multilíngue

Junto com os modelos em inglês, benchmarks multilíngues como GLUE e SuperGLUE também foram introduzidos. À medida que esses benchmarks se tornavam mais complexos, benchmarks maiores surgiram. Os métodos de avaliação para modelos que não são em inglês seguiram um caminho semelhante, principalmente através de traduções de avaliações existentes em inglês. No entanto, esses métodos costumam falhar em medir o conhecimento nativo dentro dos modelos. Assim, há uma necessidade clara de ferramentas de avaliação que olhem especificamente para contextos culturais. Tentativas recentes nessa direção incluem o BHASA, que busca medir a profundidade cultural em idiomas do Sudeste Asiático. Mas, as limitações desses esforços, como o pequeno número de perguntas, destacam a necessidade de avaliações mais abrangentes.

#Avaliação do Coreano

A avaliação de modelos de linguagem Coreanos ganhou atenção, com recursos surgindo após modelos em inglês e chinês. Benchmarks existentes como Korean-NLI, STS, KLUE e KoBEST tendem a depender muito de conteúdo traduzido, muitas vezes perdendo as características únicas da língua coreana. Embora KLUE e KoBEST expandam os tipos de testes disponíveis, eles não conseguem avaliar completamente modelos específicos da língua, em grande parte por causa do foco nas tarefas básicas de compreensão da língua em vez do Conhecimento Cultural.

O HAE-RAE Bench oferece uma abordagem nova ao medir a profundidade do conhecimento em modelos de língua coreana, em vez de apenas sua compreensão geral da linguagem ou habilidades de raciocínio.

#HAE-RAE Bench

#Visão Geral

A abordagem de design para o HAE-RAE Bench é diferente das ferramentas de avaliação coreanas anteriores. Ele foca não só em entender ou raciocinar, mas também na riqueza do conhecimento que um modelo possui. Acreditamos que entender vocabulário coreano, cultura, geografia e história é crucial para aplicações conversacionais. O HAE-RAE Bench consiste em seis tarefas: Palavras Estrangeiras, Nomenclatura Padrão, Palavras Raras, Conhecimento Geral, História e Compreensão de Leitura.

#Palavras Estrangeiras

Essa tarefa examina a habilidade de um modelo em reconhecer palavras emprestadas-termos de outras línguas. O modelo precisa escolher a equivalência coreana correta para uma palavra estrangeira dada de várias opções. Usamos termos do Instituto Nacional da Língua Coreana e filtramos eles pra uso comum, amostrando 200 entradas.

#Nomenclatura Padrão

Nessa tarefa, modelos identificam a terminologia oficial para termos específicos da indústria fornecidos pelo NIKL. O objetivo é avaliar a compreensão do modelo sobre o uso da linguagem padronizada em vários domínios.

#Palavras Raras

Essa tarefa desafia modelos sobre seu conhecimento de vocabulário coreano menos comum. Os participantes recebem uma definição e devem escolher a palavra apropriada entre várias opções, que buscamos em um programa de quiz de vocabulário coreano.

#Conhecimento Geral

Essa tarefa avalia a compreensão de um modelo sobre diversos aspectos da cultura coreana por meio de perguntas de múltipla escolha em diferentes categorias, incluindo direito, tradição, geografia e cultura pop.

#História

Modelos respondem a perguntas relacionadas a eventos históricos, avaliando sua compreensão de momentos-chave na história coreana com base em páginas da web selecionadas.

#Compreensão de Leitura

Essa tarefa envolve modelos respondendo a perguntas com base em passagens de leitura em coreano. As passagens são tiradas de um exame de proficiência em língua coreana.

#Configurações de Avaliação

Nós avaliamos vários modelos de linguagem pra medir seu desempenho no HAE-RAE Bench. Os modelos foram categorizados em grupos focados no coreano, multilíngues e centrados no inglês. Excluímos vários modelos que não relataram informações sobre seus tokens de treinamento em coreano. As performances foram medidas através de taxas de precisão em várias configurações de prompt.

#Análise de Desempenho

Descobrimos que a capacidade dos modelos de responder corretamente tende a melhorar com o tamanho do modelo e o número de exemplos que eles encontram. No entanto, mesmo modelos maiores como UMT5 e Llama-2 muitas vezes não se igualam aos seus equivalentes focados no coreano da série Polyglot-Ko. Isso destaca a importância do treinamento específico da língua pra entender contextos culturais.

#Tamanho do Modelo e Desempenho

Nossa análise mostrou que, embora o tamanho de um modelo impacte em geral seu desempenho, os desafios específicos propostos pelo HAE-RAE Bench exigem mais do que apenas tamanho bruto. Muitos fatores influenciam quão bem os modelos conseguem responder com precisão às perguntas, mostrando a complexidade do entendimento cultural.

#Resultados do GPT-3.5 e GPT-4

Nós também avaliamos modelos populares como GPT-3.5 e GPT-4 no HAE-RAE Bench. As pontuações deles mostram potencial pra mais melhorias, especialmente em áreas com um foco mais cultural. Embora esses modelos tenham se saído bem nas avaliações padrão, eles ainda precisam entender as nuances culturais presentes nas tarefas do HAE-RAE.

#Análise de Erros

Pra melhorar os desenvolvimentos futuros, analisamos os erros comuns cometidos pelos modelos durante os testes. Essa análise mostrou que não houve viés significativo nas escolhas de respostas, mesmo que certas perguntas pudessem ter sido mais desafiadoras que outras.

#Desempenho por Subcategoria

Quando analisamos o desempenho por subcategorias, os modelos se saíram de maneira diferente em cada categoria. Por exemplo, o GPT-4 geralmente superou o Polyglot-Ko-12.8B na maioria dos segmentos, mas este último se destacou em algumas áreas.

#Conclusão

Neste trabalho, apresentamos o HAE-RAE Bench, um conjunto de dados único voltado para avaliar o conhecimento cultural incorporado em modelos de linguagem. Esse método de avaliação foi feito pra ser mais difícil para modelos que não são coreanos, focando na capacidade deles de conversar de forma eficaz e informada em coreano. Ao priorizar a compreensão cultural e contextual, o HAE-RAE Bench busca melhorar o teste de modelos de linguagem que não são em inglês, abrindo caminho pra aplicações de linguagem mais sofisticadas e culturalmente conscientes.