ArgU: Uma Nova Ferramenta para Gerar Argumentos

Ter bons Argumentos é importante pra conversas que realmente importam. Por exemplo, se alguém quer convencer outra pessoa a parar de fumar, precisa apresentar pontos fortes baseados em fatos e opiniões de especialistas. Mas criar argumentos sólidos de forma automática pode ser complicado. Ao mexer nas questões de como os argumentos são formados, a gente pode melhorar a tecnologia que ajuda a fazer esses argumentos.

Nesse contexto, apresentamos o ArgU, um programa que gera argumentos factuais. Ele usa informações do mundo real e consegue criar argumentos que refletem um ponto de vista específico e uma estrutura. Isso é feito usando Códigos de Controle especiais baseados em um método desenvolvido pelo Walton. Infelizmente, a área de criação de argumentos com computadores ainda está bem no começo e não tem dados de treinamento suficientes. Pra resolver isso, juntamos um grande conjunto de dados com 69.428 argumentos sobre seis tópicos, que é o maior do tipo. Esse artigo explica como criamos esse conjunto de dados e como ele pode ser usado pra construir programas melhores de geração de argumentos.

#O Desafio da Criação de Argumentos

Criar argumentos convincentes não é fácil. Um bom argumento deve ser atraente, credível, baseado em fatos e logicamente sólido. Isso torna difícil inventar argumentos fortes. Embora novos programas de computador mostrem potencial pra ajudar a criar esses argumentos, muitos não têm os controles necessários pra produzir resultados lógicos e adequados. Como resultado, a utilidade deles em situações reais é limitada.

Além disso, treinar esses modelos requer muitos dados de qualidade, o que pode ser difícil de reunir. Pra lidar com isso, apresentamos o ArgU, um gerador neural de argumentos controlados treinado em um conjunto de dados cuidadosamente selecionado. Esse conjunto foca em tópicos importantes como aborto, salário mínimo, energia nuclear, controle de armas, pena de morte e uniformes escolares.

#Como o ArgU Funciona

O ArgU tem como objetivo facilitar a geração de argumentos eficazes e variados. Ele pega informações do mundo real e combina pra criar argumentos que correspondem a um ponto de vista e uma estrutura de raciocínio desejados. Usando códigos de controle, o ArgU pode criar diferentes tipos de argumentos a partir do mesmo conjunto de fatos, levando a respostas variadas.

Internamente, o ArgU segue um processo em duas etapas. Primeiro, ele gera um esboço pro argumento com base nos códigos de controle. Depois, preenche esse esboço com as informações relevantes. Nosso trabalho é baseado em princípios teóricos sólidos, usando os esquemas de argumentos do Walton pra guiar esse processo.

#Criando o Conjunto de Dados

Como reunir dados anotados por humanos é caro e demorado, desenvolvemos uma estrutura em várias etapas pra criar um conjunto de dados com 69.428 exemplos pra Gerar argumentos controlados. Nosso conjunto inclui textos de argumentos que apresentam conceitos e conhecimentos do mundo real, junto com suas posições e esquemas de argumento. Ao tornar esse conjunto de dados disponível publicamente, esperamos incentivar mais pesquisas.

#Fase 1: Criação do Conjunto de Dados Inicial

A primeira fase envolveu a criação de um conjunto de dados menor, que continha 2.990 argumentos com base nos esquemas de argumentação do Walton. Nessa fase, pedimos a anotadores humanos que identificassem trechos factuais de argumentos existentes e conectassem esses trechos a uma base de conhecimento de 205 fatos cobrindo nossos seis tópicos. Anotamos uma amostra de 1.153 exemplos e treinamos um sistema automatizado pra ajudar a anotar os argumentos restantes.

#Fase 2: Expandindo o Conjunto de Dados

Na segunda fase, expandimos nosso conjunto de dados inicial usando um método que reuniu exemplos de várias fontes online. Adicionamos esses argumentos extras pra tornar nosso conjunto mais abrangente. Os novos exemplos, embora não tenham sido inicialmente rotulados com fatos ou esquemas de argumento, foram processados usando nossos métodos previamente treinados pra garantir que atendessem nossos padrões.

#Avaliando os Modelos de Geração de Argumentos

Pra checar a qualidade do nosso sistema, usamos métodos de Avaliação automáticos e humanos. Testamos quão bem o ArgU consegue gerar argumentos e se faz isso de forma lógica.

#Avaliação Automática

Nossa avaliação automática envolveu comparar os argumentos gerados com várias métricas, incluindo quão bem os fatos são usados, quão relacionados estão os argumentos gerados aos fatos originais e a coerência geral. Descobrimos que alguns modelos se saíram melhor que outros em diferentes áreas. Os melhores resultados vieram de uma versão do modelo que usou tanto as posições quanto os códigos de controle de forma eficaz.

#Avaliação Humana

Além das checagens automáticas, também pedimos a avaliadores humanos que revisassem argumentos selecionados aleatoriamente gerados por nossos modelos. Eles avaliaram os argumentos quanto à fluência, incorporação de fatos, coerência lógica e se a posição e o esquema de argumento combinavam com as características pretendidas. Os resultados mostraram que, embora todos os modelos produzissem argumentos fluentes, alguns eram melhores em conectar ideias logicamente que outros.

#Principais Descobertas

No geral, o ArgU demonstra sua capacidade de gerar argumentos controlados com base em diferentes pontos de vista e estruturas de raciocínio. No entanto, também notamos algumas falhas. Por exemplo, o modelo às vezes não conseguia entender completamente o significado dos fatos, levando a argumentos que não estavam alinhados com a posição desejada.

Além disso, descobrimos que, embora o ArgU consiga gerar argumentos de forma eficaz em diferentes tópicos, ele tem limitações ao processar argumentos mais longos. Os resultados das nossas avaliações sugerem que, embora o ArgU mostre potencial na geração de argumentos, seu desempenho pode melhorar ainda mais com dados de treinamento mais diversos e refinamentos em seu design.

#Considerações Éticas

Ao longo de toda nossa pesquisa e desenvolvimentos, mantivemos padrões éticos. Todos os experimentos foram conduzidos com a intenção de contribuir para o conhecimento acadêmico sem qualquer viés ou discriminação. Os argumentos gerados não refletem as opiniões dos autores, e os avaliadores humanos foram remunerados de forma justa de acordo com os padrões legais.

#Conclusão

Em resumo, apresentamos o ArgU como uma ferramenta prática pra gerar argumentos que são estruturados e baseados em informações factuais. Com um conjunto de dados bem formado e métodos de avaliação robustos, o ArgU tem o potencial de ajudar os usuários a criar argumentos eficazes adaptados a pontos de vista específicos. O trabalho apresentado contribui significativamente para o campo da geração automatizada de argumentos e abre caminhos pra futuras pesquisas e aplicações.

O desenvolvimento contínuo do ArgU e as melhorias em suas capacidades sinalizam um futuro onde a geração automatizada de argumentos pode desempenhar um papel vital em discussões em várias áreas, desde educação até a formulação de políticas.