Entendendo Modelos de Linguagem Grandes e Incerteza

Este artigo fala sobre como os Modelos de Linguagem Grande (LLMs) entendem seu próprio conhecimento e a incerteza nas respostas que dão. Esse entendimento é importante porque pode ajudar a reduzir informações erradas, muitas vezes chamadas de "alucinações". O foco são as perguntas que não têm uma resposta clara, que chamamos de conhecidos-desconhecidos.

#Importância das Perguntas Conhecidas-Desconhecidas

As perguntas conhecidas-desconhecidas são aquelas que podemos fazer, mas não têm respostas definitivas. Essas perguntas muitas vezes envolvem opiniões pessoais ou questões complexas onde a informação é escassa. Por exemplo, "O que havia antes do Big Bang?" Essas perguntas são difíceis porque as respostas podem variar com base em diferentes pontos de vista. Nosso objetivo é ver como os modelos de linguagem lidam com esse tipo de pergunta incerta.

#O Quadrante do Conhecimento

Nós categorizamos o conhecimento com base em um modelo popularizado por um ex-oficial do governo dos EUA. Esse modelo destaca os conhecidos-desconhecidos, que são perguntas sem respostas claras. Tem havido pesquisas sobre se os modelos de linguagem conseguem avaliar suas respostas e mostrar níveis de confiança. Queremos saber se os LLMs reconhecem o que sabem e o que não sabem.

#Criando um Conjunto de Dados para Estudo

Criamos um novo conjunto de dados chamado Perguntas Conhecidas-Desconhecidas (KUQ) para estudar como os LLMs entendem perguntas incertas. Esse conjunto inclui perguntas com muitas respostas possíveis. Categorizamos essas perguntas em subcategorias com base em onde vem a incerteza.

#Contribuições da Pesquisa

Esse estudo apresenta vários pontos importantes:

1. Novo Conjunto de Dados de Perguntas Conhecidas-Desconhecidas: Desenvolvemos um novo conjunto de perguntas que não têm respostas claras e as categorizamos por fontes de incerteza.
2. Comportamento dos LLMs: Verificamos como os modelos de linguagem atuais lidam com perguntas conhecidas versus desconhecidas.
3. Disparidade na Incerteza das Respostas: Analisamos quão incertas são as respostas dos LLMs ao responder perguntas conhecidas versus desconhecidas.

#Insights da Avaliação

O estudo revelou que os LLMs têm dificuldade em classificar perguntas conhecidas e desconhecidas. Modelos menores e de código aberto se saíram quase aleatoriamente. Humanos tiveram desempenhos semelhantes ou um pouco melhores que os modelos na classificação das perguntas. No entanto, as razões dadas pelos modelos às vezes ajudaram o desempenho humano.

Quando se trata de expressar incerteza, encontramos pouca diferença entre perguntas desconhecidas e conhecidas. Os modelos às vezes melhoram em mostrar incerteza quando têm o contexto certo, mas, no geral, ainda ficam aquém.

#Pesquisa Relacionada

Vários estudos tentaram entender as verdadeiras habilidades dos LLMs. Existem diferentes benchmarks para testar suas habilidades, desde tarefas específicas até avaliações mais amplas. Ao lidar com incertezas na linguagem, várias abordagens foram tentadas, mas medir a incerteza de forma eficaz continua sendo um desafio.

#Processo de Criação do Conjunto de Dados

Para criar nosso conjunto de dados, buscamos perguntas em diferentes lugares:

• Crowdsourcing: Perguntamos às pessoas para compartilharem suas perguntas conhecidas-desconhecidas.
• Modelos de Linguagem Grande: Usamos um modelo de linguagem (GPT-4) para gerar perguntas adicionais.
• Fontes da Web: Encontramos perguntas não resolvidas de vários sites.

Implementamos um processo de filtragem para garantir a qualidade do nosso conjunto de dados. Trabalhadores de crowdsourcing ajudaram a categorizar as perguntas para determinar seu status de conhecidas ou desconhecidas.

#Tarefas e Experimentos

Desenhamos três tarefas principais para analisar como os LLMs lidam com perguntas conhecidas-desconhecidas:

1. Classificação Conhecida vs Desconhecida: Testamos se os LLMs conseguem distinguir entre perguntas conhecidas e desconhecidas.
2. Classificação Multi-classe: Exploramos se os LLMs podem categorizar perguntas desconhecidas com base em suas fontes de incerteza.
3. Resposta a Perguntas Abertas: Avaliamos como os LLMs respondem a perguntas incertas.

#Resultados da Pesquisa

Nossos experimentos usaram vários LLMs através de uma API. Descobrimos que modelos maiores tendem a se sair melhor que os menores. No entanto, ainda há espaço para melhorias, e o método de auto-pergunta muitas vezes levou a uma superconfiança nas respostas dadas.

#Avaliando a Percepção Humana

Também queríamos ver como as explicações geradas pelos LLMs influenciavam a compreensão humana das perguntas. Descobrimos que, quando os usuários viam uma justificativa gerada pelo modelo, a precisão deles em determinar se uma pergunta era conhecida ou desconhecida mudava.

#Analisando a Incerteza das Respostas

Entender como os LLMs expressam incerteza é crucial. Examinamos várias características das respostas geradas por eles, como subjetividade e hedges, que indicam incerteza. Nossa análise mostrou que os LLMs tendem a ser superconfiantes em suas respostas, particularmente em relação a perguntas desconhecidas.

#Pensamentos Finais

Esse trabalho enfatiza como os LLMs lidam com perguntas conhecidas-desconhecidas. Ao melhorar nosso entendimento sobre como essas perguntas são abordadas, podemos trabalhar para um desempenho melhor nos modelos de linguagem. Ainda há muito a aprender, especialmente sobre como os modelos expressam sua incerteza e como melhorar sua precisão.

#Estatísticas do Conjunto de Dados

Nesta seção, apresentamos estatísticas relacionadas ao conjunto de dados, incluindo a distribuição de perguntas e fontes.

#Conclusão

Em conclusão, os LLMs exibem uma capacidade notável de interagir com perguntas conhecidas-desconhecidas, mas mais pesquisas são necessárias para refinar sua classificação e expressão de incerteza. Um entendimento e metodologia aprimorados podem abrir caminho para avanços em como esses modelos funcionam, especialmente ao lidar com perguntas onde as respostas não são facilmente definidas.