Analisando Modelos Sintáticos em Modelos de Linguagem

Estudos recentes sobre textos gerados por modelos de linguagem focaram principalmente em características baseadas em palavras. Este artigo se concentra em características sintáticas para examinar a repetição nesses modelos, além de apenas frases frequentes. Especificamente, introduzimos templates sintáticos, que ajudam a mostrar com que frequência os modelos geram padrões de texto semelhantes, especialmente quando comparados ao texto escrito por humanos.

Descobrimos que um grande número de templates (76%) encontrados em textos produzidos por modelos também pode ser localizado nos dados usados para treinar esses modelos. Em contraste, apenas 35% dos templates em textos escritos por humanos podem ser rastreados até os Dados de Treinamento. Esses templates não mudam muito durante os processos de ajuste fino, o que sugere uma forte ligação entre os dados de treinamento e os templates no Texto Gerado.

Os templates conseguem destacar diferenças entre vários modelos, tarefas e tópicos, e também podem ser úteis para avaliar estruturas comuns nos textos produzidos por esses modelos. Isso leva a uma pergunta interessante: que padrões os modelos de linguagem aprendem com seus dados de treinamento, e esses padrões funcionam em diferentes tarefas e conjuntos de dados?

Pesquisas anteriores focaram principalmente na qualidade do texto gerado. Mais recentemente, a atenção se voltou para a diversidade dos textos gerados. No entanto, houve exploração limitada dos tipos de padrões que esses modelos de linguagem aprendem.

Um exemplo de texto gerado por um modelo foi retirado de resumos de críticas de filmes. Quando solicitado a resumir críticas de filmes escritas por humanos, o modelo produziu frases que revelaram inúmeros padrões repetidos de tags de parte do discurso (POS). Neste caso, descobrimos que, apesar do texto específico gerado ser novo, 95% das sequências de tags POS correspondiam ao que estava presente nos dados de treinamento. Isso mostra que mesmo textos novos podem depender muito de estruturas comuns aprendidas durante o treinamento.

Para investigar esse aspecto, comparamos diferentes tipos de modelos e as taxas com que produzem templates em textos gerados. Extraindo templates de várias saídas, podemos analisar com que frequência e de que maneiras os modelos utilizam esses templates.

Começamos definindo templates sintáticos como sequências de tags POS que são repetidas pelo menos um número definido de vezes nas saídas geradas. O artigo busca responder algumas perguntas importantes:

• Com que frequência modelos ajustados a instruções geram saídas com templates?
• Podemos localizar esses templates nos dados de treinamento?
• Os templates podem nos ajudar a identificar quanto dado foi memorizado pelo modelo?

Avaliaremos oito modelos diferentes em três tarefas. Esta análise revela como os modelos aprendem a usar templates a partir de seus dados de treinamento e como eles produzem esses templates ao gerar saídas.

#Trabalhos Relacionados

No estudo da diversidade na geração de textos, o foco frequentemente tem sido na diversidade de tokens utilizados. Vários métodos foram introduzidos para lidar com a falta de diversidade vista nas saídas dos modelos. No entanto, ainda não está claro se esses métodos também melhoram a variedade das estruturas sintáticas nos modelos.

Além de examinar apenas a diversidade de palavras, também precisamos desenvolver maneiras de avaliar a diversidade estrutural, que tem usos importantes em tarefas como resumo e escrita criativa. Estudos anteriores também notaram uma diminuição na diversidade dos textos gerados ligada ao processo de treinamento, mas novamente, o foco permaneceu principalmente na diversidade em nível de palavras.

Houve algum trabalho computacional que examina a estrutura dos textos gerados. Esta análise examina vários aspectos do estilo, conforme se aplica a diferentes tarefas, como identificar o modelo ou autor de uma peça de escrita. Enquanto nosso objetivo é quantificar e caracterizar características repetitivas no texto gerado, as definições de elementos estilísticos podem ajudar a fornecer contexto para nossas descobertas.

Quando se trata de detectar texto gerado por modelos, características de n-gramas de alta frequência podem ser úteis. Mas já foi estabelecido que identificar essas características de maneira confiável é desafiador. Neste trabalho, focamos em caracterizar padrões em vez de estabelecer métodos de detecção.

#Detectando Templates Sintáticos

Nosso objetivo é apresentar uma maneira abstrata de representar texto que capture repetições sutis melhor do que apenas verificar repetições exatas. Um foco em padrões sintáticos, em vez de tokens exatos, permite uma melhor compreensão dessas repetições.

Por exemplo, um padrão composto pelas sequências DT JJ NN IN DT JJ NN pode se encaixar em frases em vários contextos, mesmo que compartilhem apenas uma sobreposição mínima em seus tokens.

Para definir templates, explicamos que um template é uma subsequência de abstrações sobre tokens que aparece repetidamente dentro do texto. Focamos nas tags POS para nossa análise.

Para extrair templates sintáticos do texto, pegamos sequências de POS. Buscamos encontrar templates que aparecem frequentemente em uma coleção de textos gerados. As ferramentas que usamos ajudam a marcar todos os tokens com suas respectivas tags POS, e então podemos procurar os padrões repetidos mais comuns.

#Métricas para Medir Templates

O objetivo de extrair templates é avaliar e caracterizar os padrões repetitivos no texto gerado por modelos. Medimos três métricas principais:

1. A variedade de tags POS que são geradas.
2. A proporção de textos que têm pelo menos um template.
3. O número de templates encontrados em cada peça de texto.

Estamos particularmente interessados em como as sequências repetidas nos textos fornecem insights sobre sua diversidade. Descobrimos que certos algoritmos podem ajudar a medir essa redundância de forma eficiente e determinar quão variado é o texto gerado.

#Configuração Experimental

Começamos avaliando um modelo open-source em diferentes tarefas que nos permitem olhar para templates tanto em seus dados de treinamento quanto em saídas. Também avaliamos modelos closed-source que não compartilham seus dados de treinamento, mas que ainda podem ser analisados quanto à incidência de templates.

Aplicamos diferentes estratégias de decodificação para observar como elas impactam a geração de templates. Várias abordagens podem controlar a diversidade do texto na fase de inferência através do ajuste de parâmetros durante a decodificação.

#Templates no Texto Gerado por Modelos

Ao mergulharmos nos resultados de nossas avaliações, vemos que a taxa de texto com templates varia dependendo da tarefa em questão. Algumas configurações levam a altas taxas de templates, especialmente em tarefas de resumo.

Na verdade, os templates são significativamente mais prevalentes nas saídas dos modelos do que em textos escritos por humanos. Isso indica que a estrutura das saídas geradas por modelos tende a se apoiar fortemente em padrões de templates, independentemente do método de amostragem utilizado.

#Buscando Templates nos Dados de Pré-Treinamento

Para entender melhor de onde vêm os templates, olhamos para os dados de treinamento. Ao medir quando durante o treinamento esses modelos começam a mostrar comportamento de template, descobrimos que os templates são aprendidos logo no começo.

A prevalência de templates nos dados de treinamento é muito maior em comparação com sequências aleatórias, o que mostra que essas estruturas não são apenas um produto do ajuste fino, mas sim inerentes ao que os modelos aprendem durante o treinamento.

#Templates em Modelos Closed-Source

A avaliação de modelos closed-source revela uma tendência semelhante: a maioria dos templates usados em suas saídas também aparece em seus dados de pré-treinamento. Isso sugere que os templates podem servir como indicadores das fontes usadas durante o treinamento.

Em vários conjuntos de dados, observamos taxas gerais elevadas de templates nas saídas dos modelos, particularmente em comparação com referências humanas. Mesmo quando controlamos o comprimento do texto, os textos gerados por modelos apresentam um número maior de templates em média.

#Memorização de Estilo

Pesquisas mostraram que os modelos às vezes memorizam partes de seus dados de treinamento. Através de nossa análise, exploramos até que ponto os modelos memorizam não apenas o texto exato, mas também os aspectos estilísticos representados por seus templates.

Ao avaliar a memorização de sequências POS em vez de textos exatos, descobrimos que os modelos mostram uma taxa mais alta de semelhança estrutural com seus dados de treinamento, mostrando um tipo diferente de memorização.

#Conclusões

Este trabalho apresenta templates sintáticos como uma ferramenta valiosa para examinar estruturas repetitivas sutis em textos produzidos por modelos de linguagem. Nossa análise indica que muitos desses templates derivam dos dados de treinamento, em vez de surgirem apenas durante o ajuste fino.

Esperamos que esta pesquisa incentive mais estudos focando em como os padrões estilísticos nas saídas dos modelos se relacionam com seus dados de treinamento. Algumas limitações também devem ser observadas, incluindo a necessidade de recursos significativos para analisar conjuntos de dados maiores de forma eficaz.

No geral, nossas descobertas ressaltam a importância de analisar a repetição em textos para obter insights tanto sobre o comportamento do modelo quanto sobre os dados usados no treinamento.