Mantendo Modelos de Linguagem Grandes Atualizados: Uma Revisão Crítica

Os Grandes Modelos de Linguagem (LLMs) estão sendo usados pra buscar informações. Mas surge uma pergunta grande: quão atualizadas estão as informações que esses modelos têm? Com o tempo, o conhecimento muda, e é crucial checar como esses modelos se atualizam. Este artigo investiga como o conhecimento desatualizado pode afetar o desempenho dos LLMs e a necessidade de métodos pra manter a precisão deles.

#O Problema do Conhecimento Desatualizado

Os LLMs são criados com dados coletados em certos momentos, o que significa que a compreensão dos fatos pode rapidamente se tornar desatualizada. Por exemplo, um modelo treinado com dados de alguns anos atrás pode ainda dar respostas baseadas nessas informações antigas. Esse conhecimento desatualizado pode levar a respostas erradas quando os usuários buscam informações atuais.

Pra avaliar quão desatualizados estão os LLMs, precisamos identificar três coisas: quando uma mudança de conhecimento acontece, qual conhecimento específico está desatualizado e como atualizar esse conhecimento dentro do modelo. Infelizmente, não tem muita pesquisa sobre como detectar conhecimento desatualizado nesses modelos, o que torna difícil lidar com o problema de forma eficaz.

#Criando um Benchmark Dinâmico

Pra resolver o problema do conhecimento desatualizado, desenvolvemos um sistema de testes especial chamado benchmark de Conhecimento Dinâmico (DyKnow). Esse sistema permite ver como vários LLMs respondem a perguntas factuais atuais. Em vez de depender de respostas estáticas que podem rapidamente ficar erradas, o DyKnow busca as informações mais recentes de uma fonte confiável, garantindo que os dados estejam atualizados no momento da avaliação.

Focamos em áreas sensíveis ao tempo, como política, esportes e organizações, buscando ver quão eficazmente os LLMs fornecem informações atualizadas nessas áreas. Ao realizar testes em uma variedade de LLMs, podemos entender a atualidade do conhecimento deles.

#Avaliando Diferentes Modelos

Nesta avaliação, analisamos 18 LLMs, incluindo sistemas populares como GPT-2, GPT-3 e GPT-4. Ao questioná-los com perguntas atualizadas, tentamos identificar quantas das respostas ainda eram relevantes e quantas estavam desatualizadas.

Um exemplo de um fato sensível ao tempo que examinamos foi sobre os clubes de futebol do Cristiano Ronaldo. Descobrimos que alguns modelos retornaram informações desatualizadas, como nomear clubes em que ele não joga mais, indicando que não atualizaram seu conhecimento desde o treinamento.

#A Necessidade de Editar Conhecimento

Pra tornar os LLMs melhores em fornecer informações atuais, precisamos de métodos pra atualizar o conhecimento que eles têm. Testamos vários métodos de edição de conhecimento pra ver quão eficazmente eles podiam alinhar os modelos com fatos do mundo real.

Alguns métodos mudam os parâmetros internos do modelo diretamente, enquanto outros armazenam novo conhecimento externamente. Olhamos pra técnicas como ROME e MEMIT, que modificam os parâmetros do modelo, e SERAC e IKE, que mantêm os parâmetros originais intactos.

#Desempenho dos Métodos de Edição

Depois de aplicar diferentes métodos de edição em modelos selecionados, descobrimos que, enquanto alguns métodos funcionaram melhor que outros, nenhum atingiu resultados perfeitos. Por exemplo, ROME e MEMIT tiveram dificuldades em manter o conhecimento atualizado de forma geral.

Em contraste, IKE mostrou potencial em trabalhar com modelos específicos, indicando que o aprendizado em contexto pode ajudar a manter as informações atuais. No entanto, nenhum desses métodos conseguiu resolver completamente o problema do conhecimento desatualizado.

#O Papel da Geração Aumentada por Recuperação

Outra abordagem pra manter os modelos alinhados com informações atuais é chamada de Geração Aumentada por Recuperação (RAG). O RAG funciona recuperando documentos atuais pra informar as respostas do modelo. Embora não edite diretamente o conhecimento interno do modelo, melhora a precisão das respostas geradas.

Na nossa avaliação, o RAG mostrou um bom desempenho em alinhar os modelos com conhecimento atualizado. No entanto, depende muito da precisão do sistema de recuperação. Se os documentos recuperados estiverem desatualizados, a resposta do modelo também estará.

#Engajando com a Comunidade

Pra incentivar mais desenvolvimento nessa área, compartilhamos nosso benchmark e recursos com a comunidade de pesquisa. Ao tornar essas informações acessíveis, esperamos promover melhorias em como os LLMs lidam com conhecimento sensível ao tempo e estimular mais pesquisas sobre métodos de atualização de conhecimento mais eficazes.

#Conclusão

Manter os Grandes Modelos de Linguagem atualizados com conhecimento atual é vital pra sua utilidade. Nossas descobertas mostram que, embora existam vários métodos, ainda tem muito a ser feito pra garantir que os LLMs sirvam como fontes de conhecimento confiáveis. A introdução do benchmark de Conhecimento Dinâmico e o engajamento contínuo com a comunidade criam um caminho pra melhorias nessa área. É essencial que o trabalho futuro se concentre em identificar conhecimento desatualizado e desenvolver melhores técnicas de edição pra manter a relevância dos LLMs como repositórios de conhecimento.