Automatizando a Geração de Distratores em Compreensão de Leitura

Em tarefas de compreensão de leitura, é importante criar opções que desafiem os leitores. Isso é conhecido como geração de distratores. Tradicionalmente, fazer esses distratores envolve muito tempo e esforço humano, o que pode sair caro. Este artigo apresenta um novo método que não depende de distratores feitos por humanos. Em vez disso, usa grandes modelos de linguagem (LLMs) para criar esses distratores automaticamente.

#A Tarefa de Geração de Distratores

Quando avaliamos a compreensão de leitura, cada pergunta geralmente tem uma passagem, uma pergunta, uma resposta correta e distratores. Esses distratores são opções incorretas projetadas para desviar os leitores. Recentemente, muitos pesquisadores têm buscado métodos para automatizar esse processo, especialmente usando LLMs. No entanto, muitos desses métodos dependem de grandes conjuntos de dados que são difíceis de encontrar.

#Limitações dos Métodos Existentes

A maioria dos métodos atuais para geração de distratores requer um esforço humano extenso para anotar os dados. Existem apenas alguns conjuntos de dados disponíveis, e eles têm dificuldades para ter um bom desempenho em situações do mundo real. Isso cria uma necessidade de métodos que funcionem com conjuntos de dados menores sem a intervenção humana.

#Estrutura Proposta

O método proposto usa LLMs para gerar distratores sem precisar de uma etiquetagem humana extensa. Envolve duas etapas principais: gerar distratores pseudo usando LLMs e treinar um modelo menor para produzir distratores com base nessas opções geradas.

#Processo de Treinamento

1. Gerando Distratores Pseudo: LLMs como GPT-3.5 e LLaMa criam distratores com base na passagem de entrada, pergunta e resposta.
2. Treinamento em Duas Etapas: O modelo estudante menor é treinado em duas etapas. Primeiro, ele aprende a gerar respostas, e depois aprende como criar distratores usando tanto os distratores gerados quanto as respostas corretas.

#Decodificação Contrastiva

Para melhorar a qualidade dos distratores gerados, é introduzido um método de decodificação contrastiva. Esse método incentiva o modelo a gerar saídas que sejam diferentes das respostas corretas. Ele penaliza o modelo por produzir resultados que se assemelhem muito à resposta correta.

#Avaliação do Modelo

O desempenho do modelo foi testado em dois conjuntos de dados: RACE e Dream. Os resultados mostraram que o método proposto superou os métodos existentes que usavam distratores feitos por humanos. O modelo também demonstrou estabilidade e qualidade mesmo quando treinado com menos dados.

#Resultados

1. Qualidade dos Distratores Gerados: Os distratores produzidos pelo método proposto foram avaliados e mostraram melhorias tanto em qualidade quanto em diversidade em comparação com opções geradas por LLM.
2. Nível de Distração: Uma nova métrica de avaliação, o Faithful Score, foi introduzida para avaliar o quão bem os distratores enganam os leitores. O método proposto teve uma pontuação mais alta em habilidade de distrair do que outros métodos.

#Discussão

As descobertas revelam que o novo método para gerar distratores é eficaz e pode ser usado em aplicações do mundo real. Ele minimiza a dependência de extensa entrada humana enquanto mantém uma saída de alta qualidade. No entanto, ainda há espaço para melhorias, especialmente em fechar a lacuna entre métodos não supervisionados e supervisionados.

#Trabalhos Futuros

Olhando para o futuro, há várias áreas onde esse método pode ser melhorado:

• Testar em conjuntos de dados mais diversos para aumentar a generalizabilidade dos resultados.
• Reduzir a dependência de dados etiquetados por humanos, mesmo para respostas, para diminuir ainda mais os custos.
• Examinar como os racionais gerados por LLMs podem ser integrados ao processo de geração de distratores.

#Conclusão

Este artigo apresenta uma estrutura promissora para produzir distratores em avaliações de compreensão de leitura usando técnicas não supervisionadas. Mostra que, com a ajuda de LLMs, podemos automatizar o processo de geração de distratores de forma eficaz, reduzindo a carga sobre os anotadores humanos. Os resultados positivos indicam um forte potencial para aplicações práticas e avanços futuros nesta área.