Ligando a Linguagem do Dia a Dia ao Código

No mundo da programação, transformar a linguagem do dia a dia em código pode ser bem complicado. Este texto fala sobre uma nova maneira de criar programas usando uma linguagem simples, permitindo que pessoas sem habilidades em programação expressem suas necessidades e as transformem em código funcional.

#O Problema

Os sistemas atuais que convertem linguagem natural em código geralmente atendem programadores habilidosos que já entendem termos técnicos e conceitos de programação. Isso cria um gap para usuários comuns que querem automatizar tarefas, mas talvez não saibam como programar. A gente quer preencher essa lacuna apresentando um método para gerar programas executáveis a partir de descrições em linguagem simples fornecidas por não-programadores.

#A Tarefa

Nosso jeito de trabalhar envolve uma tarefa que chamamos de Programação em Linguagem Natural (NLProg). Nessa tarefa, pegamos uma descrição escrita em linguagem comum e uma Interface de Programação de Aplicações (API) como entrada, e geramos um programa executável como saída. O objetivo é facilitar para qualquer um criar programas sem precisar de conhecimento técnico.

#A Abordagem

Para avaliar como os modelos conseguem realizar essa tarefa, montamos um benchmark que inclui vários cenários de teste e métodos para checar o código gerado. Esses métodos se concentram não só em como o código parece, mas em quão bem ele funciona.

Nossas descobertas iniciais mostram que traduzir linguagem complexa em código é mais difícil do que os modelos atuais conseguem lidar. Também descobrimos que alinhar a linguagem natural com a estrutura do código melhora a capacidade dos modelos de gerar programas funcionais.

#Definindo Termos

Para entender melhor nosso trabalho, vamos definir alguns termos:

• Programação em Linguagem Natural (NLProg): O processo de transformar a linguagem do dia a dia em código que funciona.
• Não-Programadores: Pessoas que não têm formação formal em programação, mas querem usar tecnologia para resolver problemas.
• Programas Complexos: Programas que incluem várias ações e estruturas lógicas, como loops e condições.

#O Desafio da Linguagem Natural

Quem programa e quem não programa expressa suas necessidades de formas diferentes. Programadores costumam usar jargão técnico e estruturas de programação bem definidas. Em contraste, não-programadores podem descrever suas necessidades usando uma linguagem simples e geral, que não tem termos técnicos específicos. Por exemplo, um programador poderia dizer: "Crie uma função para somar uma lista", enquanto um não-programador poderia falar: "Some esses números."

Essa diferença é um desafio, principalmente quando as instruções sugerem conceitos de programação sem usar termos explícitos. Por exemplo, um novato poderia dizer: "Veja como vai estar o tempo este fim de semana e me avise se estiver bom." O sistema precisa interpretar isso como um pedido para checar o tempo e criar um lembrete, mesmo que a fala não tenha detalhes técnicos.

#O Método de Avaliação

Tradicionalmente, avaliar a geração de código dependia de comparar o código gerado com uma solução de referência. No entanto, esse método muitas vezes falha em avaliar a verdadeira funcionalidade. Em vez disso, nós avaliamos pela correção funcional, ou seja, o programa gerado deve realizar com sucesso as tarefas que ele diz que vai fazer.

Para isso, criamos suítes de teste que consistem em vários cenários. Esses testes verificam se o código se comporta corretamente, passando por uma série de testes unitários. Se o código atender a esses requisitos, é considerado correto.

#O Conjunto de Dados

Montamos um conjunto de dados de instruções em linguagem natural de não-programadores pra orientar nossos modelos. Esse conjunto inclui uma variedade de descrições que abrangem várias tarefas que os usuários querem realizar. Junto com essas descrições, criamos programas de código correspondentes que seguem as especificações definidas pelas APIs relevantes.

#Coletando Instruções em Linguagem Natural

Coletamos essas descrições em linguagem natural através de crowdsourcing, convidando pessoas sem formação em programação a enviar suas solicitações. Garantimos que usassem uma linguagem simples pra garantir que as instruções ficassem fiéis ao que um iniciante diria. Esse processo nos permitiu coletar mais de mil enunciados únicos.

#Criando Suítes de Teste

Para avaliar corretamente o código gerado, construímos suítes de teste a partir dos enunciados coletados. Essas suítes contêm testes unitários pra checar a correção dos programas gerados. Cada teste é projetado pra validar que o programa pode realizar as tarefas que se propõe a executar.

#As Especificações da API

Criamos uma API para suportar as tarefas definidas nas descrições coletadas em linguagem natural. Essa API delineia as ações que podem ser realizadas e os tipos de dados que podem ser usados, fornecendo uma ponte entre a linguagem usada por não-programadores e a estrutura técnica necessária pra execução do código.

#Ligando a Linguagem Natural ao Código

Em vez de tentar traduzir a linguagem natural diretamente para código, achamos mais eficaz mapear a linguagem para uma representação estruturada que capta o fluxo lógico do programa. Ao projetar explicitamente uma estrutura hierárquica que reflete como o código é organizado, conseguimos melhorar a capacidade do modelo de produzir programas precisos e complexos.

#Testando os Modelos

Realizamos testes usando vários modelos de linguagem, comparando aqueles que usam nossa representação estruturada com métodos tradicionais de conversão de texto em código. Os resultados mostraram que a abordagem estruturada teve um desempenho melhor, especialmente na tradução de instruções complexas em código funcional.

#Resultados e Descobertas

Nossos experimentos indicaram que usar um formato estruturado pra geração de código melhorou significativamente a capacidade do modelo de lidar com pedidos complexos. Observamos que a representação hierárquica permitiu uma melhor identificação dos elementos de controle de fluxo, levando a uma geração de código mais precisa.

#Análise de Erros

Realizamos uma análise de erros no código gerado pra identificar áreas que precisam de melhoria. Os erros foram categorizados em três tipos:

1. Erros Sintáticos: Erros na estrutura do código que impedem a execução.
2. Erros Lógicos: O código gerado roda, mas causa problemas em tempo de execução.
3. Erros Semânticos: O código executado corretamente não produz os resultados esperados.

Entender esses erros ajuda a melhorar os modelos para iterações futuras.

#Trabalhos Relacionados

Nossa pesquisa se baseia em esforços anteriores na geração de código, mas foca especificamente nas necessidades de usuários iniciantes em vez de programadores experientes. Essa mudança permite uma abordagem mais inclusiva à programação, permitindo que um público mais amplo use tecnologia pra resolver problemas sem precisar aprender linguagens de programação complexas.

#Conclusão

Apresentamos um método de programação que leva em conta as necessidades e capacidades de usuários não técnicos. Ao focar em processamento de linguagem natural e uma abordagem estruturada para geração de código, buscamos tornar a programação acessível a todos. O trabalho futuro envolverá expandir os conjuntos de dados, refinar os métodos de avaliação e melhorar ainda mais o desempenho dos modelos na geração de código efetivo a partir de descrições em linguagem do dia a dia.