Modelos de Linguagem Grounded e Generalização Composicional

Modelos de linguagem fundamentados são um tipo de inteligência artificial que usam informações externas pra ajudar a entender e gerar linguagem. Eles olham pra coisas como gráficos de conhecimento, que são coleções organizadas de fatos, pra lidar com os problemas que surgem ao treinar modelos de linguagem em grandes quantidades de texto. O objetivo é ver quão bem esses modelos conseguem aprender a partir dos padrões em gráficos de conhecimento e aplicar esse conhecimento pra responder perguntas.

Uma área específica de interesse é a Generalização Composicional. Isso significa a habilidade de criar novas combinações a partir do que já foi aprendido, que é importante pra entender e criar expressões complexas na linguagem. Pesquisadores estudam esse tema há muito tempo em várias áreas, como linguística e ciência cognitiva, e isso também se tornou uma questão significativa em aprendizado de máquina, especialmente em relação a redes neurais.

Neste trabalho, estudamos quão bem modelos de linguagem fundamentados conseguem mostrar generalização composicional ao observar como eles respondem perguntas baseadas no que aprenderam a partir de gráficos de conhecimento.

#O que são Gráficos de Conhecimento?

Gráficos de conhecimento são redes de informações compostas por entidades (como pessoas, lugares ou coisas) e as relações entre elas. Eles organizam os dados de um jeito que facilita o acesso e a compreensão. Por exemplo, em um gráfico de conhecimento sobre uma universidade, as entidades poderiam incluir professores, alunos, cursos e publicações, enquanto as relações poderiam mostrar quem ensina qual curso ou quem escreveu qual artigo.

Neste estudo, usamos um tipo específico de gráfico de conhecimento gerado a partir de um banco de dados que imita um ambiente universitário. Isso ajuda a criar perguntas únicas pra testar os modelos na sua capacidade de entender tanto a linguagem quanto a estrutura do gráfico de conhecimento.

#Generalização Composicional

Generalização composicional é a capacidade de combinar partes conhecidas de novas maneiras. Um exemplo clássico é se alguém sabe como juntar palavras pra criar frases simples, essa pessoa também deve ser capaz de formar frases mais longas e complexas usando as mesmas palavras. Essa habilidade é essencial pra entender a linguagem e se comunicar de forma eficaz.

No nosso contexto, queremos ver se modelos de linguagem fundamentados conseguem pegar padrões simples de gráficos de conhecimento e combiná-los pra responder perguntas mais difíceis. Observamos três aspectos específicos da composicionalidade: substitutividade, Produtividade e Sistematicidade.

#Substitutividade

Substitutividade se refere à ideia de que se você trocar uma parte de uma frase sem mudar seu significado geral, ela ainda transmite a mesma mensagem. Por exemplo, se a frase original diz "Professor A ensina Curso X", poderíamos substituir "Professor A" por "o chefe do departamento de matemática" e o significado continuaria o mesmo.

Nos nossos testes, queremos ver se os modelos conseguem reconhecer essas substituições e responder perguntas corretamente com base nessas mudanças.

#Produtividade

Produtividade é a capacidade de criar novas frases ou construções usando um conjunto limitado de ferramentas ou palavras. Na nossa pesquisa, examinamos se os modelos conseguem aprender a responder perguntas que exigem raciocínio com base em diferentes comprimentos de relações em um gráfico de conhecimento. Por exemplo, se um modelo é treinado com perguntas de 2 níveis, ele também consegue entender perguntas de 3 níveis ou 4 níveis?

#Sistematicidade

Sistematidade é a capacidade de combinar elementos conhecidos de maneiras que não foram vistas antes. Por exemplo, se um modelo aprende a relação "ensina" e "tem um aluno", ele também pode entender a relação reversa "tem um aluno" e "ensina"? Isso significa que o modelo deve entender as partes individuais e ser capaz de recriar novas combinações.

#Gerando Conjuntos de Dados

Pra testar nossos modelos sobre esses aspectos da generalização composicional, precisamos criar conjuntos de dados que combinem gráficos de conhecimento e perguntas em linguagem natural. Isso envolve gerar pares de gráficos de conhecimento e perguntas que visam essas habilidades específicas.

Nos concentramos em gerar dados a partir de um contexto aluno-universidade, criando perguntas que se encaixam na estrutura do nosso gráfico de conhecimento. Cada pergunta pode envolver relações entre diferentes entidades, e a resposta dependerá de se existe um caminho válido entre essas entidades no gráfico.

Por exemplo, poderíamos criar uma pergunta como: "O Professor A supervisiona o Aluno de Pós-Graduação B?" O trabalho do modelo é verificar o gráfico de conhecimento pela relação correta entre essas entidades.

#Processo de Geração de Dados

O processo de geração desses dados consiste em várias etapas. Começamos criando gráficos de conhecimento com tipos específicos de entidades, como professores e alunos, e relações, como ensinar e aconselhar. Os gráficos são projetados pra refletir estruturas universitárias realistas, como cursos e publicações.

Depois, criamos templates para perguntas que podem ser preenchidas com diferentes entidades dos gráficos. Por exemplo, poderíamos ter templates tanto para perguntas de duas relações (um relacionamento) quanto para perguntas de três relações (dois relacionamentos) que podem ser adaptadas dependendo das entidades envolvidas.

Finalmente, garantimos que pra cada pergunta, haja respostas verdadeiras e falsas correspondentes - o que significa que haverá algumas perguntas que podem ser respondidas com base no gráfico e outras que não podem.

#Configuração Experimental

Nos nossos experimentos, configuramos nossos modelos pra processar os dados gerados. Cada modelo é projetado pra representar e entender tanto o texto (perguntas em linguagem) quanto o gráfico (representação do conhecimento).

Usamos codificadores distintos pra texto e gráficos. O codificador de texto processa as perguntas, enquanto o codificador de gráfico analisa o gráfico de conhecimento. Depois, combinamos essas duas representações pra chegar a uma previsão final sobre a resposta da pergunta.

#Avaliando a Generalização Composicional

Pra avaliar quão bem os modelos lidam com a generalização composicional, fazemos testes que focam nos três aspectos que discutimos anteriormente: substitutividade, produtividade e sistematicidade.

#Testando Substitutividade

Nos testes de substitutividade, avaliamos quão bem os modelos conseguem reconhecer quando uma parte de uma pergunta é substituída por outra sem perder o significado geral. Geramos um conjunto balanceado de pares pergunta-gráfico com várias entidades e relações.

Os resultados mostram que, embora os modelos se saiam bem em casos mais simples, sua capacidade de generalizar diminui à medida que a complexidade aumenta. Por exemplo, ao trabalhar com perguntas de 3 níveis, os modelos mostram uma queda maior no desempenho em comparação com os casos de 2 níveis, indicando dificuldade com a generalização.

#Testando Produtividade

Em seguida, testamos a produtividade treinando os modelos com perguntas de 2 níveis e depois avaliando-os com perguntas de 4 níveis pra ver se conseguem extrapolar. Também fazemos testes de interpolação, onde verificamos quão bem os modelos conseguem lidar com perguntas de 3 níveis após o treinamento em perguntas de 2 e 4 níveis.

Em todos os testes, descobrimos que os modelos geralmente têm dificuldades pra extrapolar e interpolar efetivamente. Seu desempenho permanece baixo, indicando que não generalizam bem quando a estrutura da pergunta muda.

#Testando Sistematicidade

Por fim, avaliamos a sistematicidade expondo os modelos a combinações de relações que eles não viram durante o treinamento, mas que contêm componentes conhecidos. Isso testa se eles conseguem entender e recombinar relações com base no que aprenderam.

Como nos testes anteriores, os resultados mostram uma falta de desempenho consistente entre diferentes configurações. Embora alguns modelos tenham alcançado sucesso moderado em casos específicos, no geral, eles tiveram dificuldades com a generalização sistemática.

#Conclusões Gerais

Nossos experimentos revelam vários insights importantes sobre modelos de linguagem fundamentados e sua capacidade de generalização composicional.

Primeiro, observamos que, embora os modelos consigam lidar com relações simples de forma eficaz, eles enfrentam dificuldades significativas com estruturas mais complexas. Isso sugere que eles podem não estar aprendendo a criar representações úteis dos componentes individuais necessários pra responder perguntas sobre relações não vistas.

Segundo, os modelos enfrentam desafios com extrapolação e interpolação, falhando em generalizar bem de comprimentos de relações vistos pra não vistos. Os resultados indicam que eles podem estar confiando demais na memorização de combinações específicas de relações em vez de entender as regras subjacentes que governam as relações.

Por fim, as descobertas ressaltam que ainda há muito espaço pra melhoria em como os modelos combinam a compreensão da linguagem com conhecimento estruturado. Atualmente, os modelos não mostram sinais confiáveis de raciocínio estruturado ao trabalhar com gráficos de conhecimento.

#Conclusão

Modelos de linguagem fundamentados têm potencial pra entender a linguagem através de conhecimento estruturado, mas nossos testes demonstram que eles precisam de mais desenvolvimento pra lidar efetivamente com a generalização composicional. Os desafios que enfrentam - especialmente com relações mais complexas - destacam a necessidade de novas técnicas que permitam a esses modelos aprender representações mais robustas.

Os conjuntos de dados e métodos que desenvolvemos podem motivar trabalhos futuros voltados a abordar essas limitações, não apenas para modelos de linguagem fundamentados, mas também para vários tipos de representação de dados. Pesquisas contínuas nessa área serão cruciais pra avançar as capacidades dos modelos de linguagem em entender e gerar linguagem de uma maneira mais parecida com a humana.