Avaliando Modelos de Linguagem Com a Incerteza em Mente

Nos últimos anos, os modelos de linguagem grandes (LLMs) se tornaram populares em várias áreas, como pesquisa e negócios. Muitas organizações e empresas lançaram suas próprias versões desses modelos. Os LLMs podem realizar uma variedade de tarefas, como responder perguntas, resumir documentos e interagir em conversas. Com o aumento do interesse nos LLMs, é importante ter maneiras eficazes de avaliar o desempenho deles.

Um problema significativo na avaliação dos LLMs é entender a precisão deles, que muitas vezes é medida por plataformas que ranqueiam esses modelos, como os rankings do HuggingFace. No entanto, essas plataformas não consideram a incerteza que vem com as previsões dos LLMs. Por exemplo, dois modelos podem fazer a mesma previsão, mas um pode estar mais confiante que o outro. Esse aspecto da incerteza é crucial para uma avaliação completa.

Para resolver esse problema, um novo método de avaliação dos LLMs é apresentado. Este método se concentra na incerteza, fornecendo uma visão mais completa de como esses modelos performam. Ao levar a incerteza em conta, conseguimos entender melhor os pontos fortes e fracos dos diferentes LLMs.

#Avaliando Modelos de Linguagem

Avaliar o desempenho dos LLMs é essencial para o desenvolvimento e a aplicação deles. Os métodos atuais geralmente utilizam conjuntos de dados específicos para avaliar os modelos, mas muitas vezes ignoram a incerteza. Esta pesquisa tem como objetivo preencher essa lacuna, medindo tanto a Precisão da Previsão quanto a incerteza nos LLMs.

Para medir a incerteza nas previsões, um método chamado predição conformal é proposto. Essa abordagem fornece uma visão mais clara de quão confiante um modelo está em suas previsões, sendo mais fácil de implementar em comparação com outros métodos. Ao aplicar esse método, os pesquisadores podem avaliar os modelos de uma maneira mais estruturada e confiável.

#Metodologia

#Tarefas e Conjuntos de Dados

Cinco tarefas típicas foram selecionadas para avaliar os LLMs: resposta a perguntas, compreensão de leitura, inferência de senso comum, seleção de resposta de diálogo e sumarização de documentos. Para cada uma dessas tarefas, foi criado um conjunto de dados com 10.000 perguntas. Cada pergunta apresenta respostas de múltipla escolha, das quais os modelos devem selecionar a correta.

1. Resposta a Perguntas (QA): Esta tarefa avalia quão bem um LLM pode utilizar seu conhecimento de mundo para responder a várias perguntas. O conjunto de dados escolhido para essa tarefa é o MMLU, que inclui uma variedade de assuntos em diferentes categorias.

2. Compreensão de Leitura (RC): Nesta tarefa, os modelos devem entender um contexto dado para responder perguntas baseadas nele. O conjunto de dados CosmosQA é utilizado, focando em narrativas que exigem raciocínio além do texto exato.

3. Inferência de Senso Comum (CI): Esta tarefa testa a capacidade do modelo de raciocinar sobre relacionamentos entre conceitos com base no conhecimento geral. O conjunto de dados HellaSwag é usado para essa avaliação.

4. Seleção de Resposta de Diálogo (DRS): Nesta tarefa, os modelos precisam entender diálogos e escolher a resposta mais apropriada de um conjunto de opções. O conjunto de dados usado para esse propósito é o HaluDial.

5. Sumarização de Documentos (DS): Esta tarefa avalia quão bem os modelos podem resumir as principais ideias de um documento. O conjunto de dados HaluSum é utilizado, focando em artigos de notícias.

Cada conjunto de dados é composto por perguntas com opções, onde pelo menos uma opção está correta. Duas opções adicionais, “Não sei” e “Nenhuma das opções acima”, são incluídas para aumentar a complexidade das tarefas.

#Medindo o Desempenho

Para avaliar o desempenho dos LLMs, dois aspectos principais são considerados: precisão da previsão e Incerteza da Previsão.

• Precisão da Previsão (Acc): Isso é medido usando a proporção de respostas corretas previstas pelo modelo.

• Incerteza da Previsão (Tamanho do Conjunto, SS): Este aspecto se concentra na média do número de opções nos conjuntos de previsão dos modelos. Um tamanho maior indica maior incerteza nas previsões do modelo.

Além disso, uma nova métrica chamada Precisão Consciente da Incerteza (UAcc) é introduzida. Essa métrica combina precisão e incerteza, permitindo uma avaliação mais nuançada dos modelos.

#Descobertas

#Taxa de Cobertura

Um foco chave desta pesquisa é a taxa de cobertura, que é a proporção de perguntas onde o conjunto de previsões inclui a resposta correta. Os resultados mostram que a maioria dos modelos atende ao requisito de cobertura de pelo menos 90%. Isso indica que os conjuntos de previsões gerados são significativos.

#Relação entre Precisão e Incerteza

Uma descoberta notável é que maior precisão nem sempre se correlaciona com menor incerteza. Na verdade, alguns modelos demonstraram maior precisão enquanto apresentavam maior incerteza. Isso sugere que confiar apenas na precisão pode ser enganoso.

#Precisão Consciente da Incerteza

A nova métrica, UAcc, foi projetada para refletir tanto a precisão quanto a incerteza. Ela penaliza modelos com alta incerteza enquanto recompensa aqueles com menor incerteza. Isso permite uma comparação mais clara entre os modelos. Por exemplo, um modelo com alta precisão pode ter um desempenho ruim no UAcc se suas previsões forem incertas.

#Efeitos do Tamanho do Modelo

A pesquisa também investiga como o tamanho do modelo impacta seu desempenho. Geralmente, modelos maiores mostram melhor desempenho em tarefas. No entanto, algumas instâncias revelam que modelos maiores também podem ter maior incerteza em suas previsões.

#Efeitos do Ajuste de Instruções

O ajuste de instruções envolve refinar a capacidade de um modelo de seguir instruções. Nesta pesquisa, esse efeito é explorado comparando resultados de versões básicas e ajustadas de modelos. As descobertas sugerem que o ajuste de instruções pode levar a uma diminuição da precisão e um aumento da incerteza em alguns casos.

#Dados de Calibração

A quantidade de dados de calibração usados para a predição conformal é examinada. A pesquisa indica que variar a proporção desses dados não afeta significativamente a taxa de cobertura ou a incerteza geral.

#Implicações para Pesquisas Futuras

As percepções coletadas desta pesquisa indicam a necessidade de incorporar a medição de incerteza nas estruturas de avaliação dos LLMs. Essa mudança de foco pode levar a avaliações melhores do desempenho dos modelos, o que é essencial para melhorar e desenvolver futuros LLMs.

Além disso, embora a predição conformal mostre promessas, há algumas limitações, como sua dependência da saída do modelo e desafios na avaliação de capacidades generativas. Pesquisas futuras devem buscar abordar essas questões, possivelmente em conjunto com o desenvolvimento de modelos capazes de processamento multimodal, avaliando o desempenho em diferentes tipos de dados.

#Conclusão

Quantificar a incerteza nos LLMs é crucial para garantir seu uso confiável em aplicações práticas. Ao adotar métodos como a predição conformal, conseguimos entender melhor como esses modelos funcionam e como podem ser aprimorados. Esta pesquisa estabelece a base para investigações futuras sobre os LLMs, enfatizando uma avaliação equilibrada que considera tanto a precisão quanto a incerteza como componentes vitais da avaliação do modelo. Explorar essa dimensão contribuirá para a aplicação segura e eficaz dessas ferramentas poderosas em várias áreas.