Melhorando a Geração de Código de Tratamento de Dados

A manipulação de Dados é uma parte importante da ciência de dados. Ela significa limpar e preparar dados brutos para que possam ser analisados corretamente. Esse processo pode ser bem demorado e, muitas vezes, ocupa até 80% do tempo de um cientista de dados. Para facilitar isso, pesquisadores estão tentando automatizar a escrita de Código que faz a manipulação de dados, transformando o que o usuário quer em código real que roda.

No entanto, escrever esse código com precisão exige entender os diferentes tipos de informação encontrados em cadernos computacionais. Esses cadernos muitas vezes misturam Texto, código e dados de uma forma que não é fácil de seguir. Isso significa que treinar modelos de computador apenas com o código não funciona bem porque eles perdem o contexto importante.

Para resolver esse problema, os pesquisadores querem construir uma coleção de exemplos de alta qualidade que mostrem claramente o contexto necessário para treinar modelos para gerar código de manipulação de dados. Eles criaram um método para reunir essas informações de vários cadernos, procurando código que lida com operações de manipulação de dados.

#A Necessidade de Contexto na Geração de Código

Ao gerar código para manipulação de dados, é essencial considerar várias peças de informação. Primeiro, tem o texto no caderno que explica o que está acontecendo. Depois, tem o próprio código, que mostra como os dados são manipulados. Finalmente, tem os dados que estão sendo usados, que contêm os valores que precisam ser limpos ou transformados.

O desafio é que os cadernos muitas vezes não mostram esses elementos claramente. Os blocos de código podem misturar diferentes tarefas, tornando difícil entender o que está acontecendo. Se os modelos são treinados apenas com o código, eles perdem informações que estão no texto e nos dados em si.

Para criar um conjunto de dados melhor, os pesquisadores querem reunir exemplos de código que tenham conexões claras com os três Contextos: o código, o texto e os dados. Eles desenvolveram um método para encontrar esses exemplos e conectá-los de forma eficaz.

#Como Funciona o Processo

O método proposto para reunir código de manipulação de dados contextualizado começa analisando o fluxo de dados nos cadernos. Acompanhando como os dados são carregados, transformados e utilizados, os pesquisadores podem identificar blocos de código que realizam tarefas de manipulação de dados. Eles procuram estágios específicos no processo de manipulação de dados:

1. Estágio de Inicialização de Dados: Aqui, um novo dataframe é criado. Este é o ponto de partida da análise de dados.

2. Estágio de Manipulação de Dados: Neste estágio, os dados brutos são limpos e transformados para o formato desejado.

3. Estágio de Utilização de Dados: Finalmente, os dados limpos são usados para análise, como criar visualizações ou realizar cálculos estatísticos.

Para identificar esses estágios, os pesquisadores analisam os tipos de código usados em bibliotecas populares de Python, como o Pandas. Essas bibliotecas oferecem funções específicas para gerenciar dados, o que ajuda a categorizar o código em diferentes estágios.

#Reunindo Contextos Multimodais

Uma vez que as células de código relevantes são identificadas, o próximo passo é reunir as informações contextuais ao redor delas. Isso inclui:

• Contexto de Código: O código existente no caderno que fornece informações sobre como as variáveis são definidas e quais bibliotecas são importadas.

• Contexto Textual: Quaisquer comentários ou explicações presentes nas células de markdown ou inline dentro das células de código.

• Contexto de Dados: Os dados reais de entrada e saída que estão sendo processados. Isso é crucial, pois fornece exemplos concretos de como os dados devem ser transformados.

O método envolve executar o caderno para capturar o estado atual dos dados antes e depois que o código é executado. Fazendo isso, o modelo pode entender como eram os dados e como mudaram, o que informa a geração do código alvo.

#Criando o Conjunto de Dados

O resultado desse método é um novo conjunto de dados com um grande número de exemplos de código usados para manipulação de dados. Ele inclui mais de 58.000 exemplos que estão organizados com contexto claro. O conjunto de dados é dividido em seções para treinamento, desenvolvimento e teste, permitindo uma análise completa e ajuste dos modelos.

Ao avaliar o código gerado usando tanto métricas de nível superficial quanto métricas baseadas na execução, os pesquisadores podem medir não só quão próximo o código gerado está do código esperado, mas também se ele realmente produz a saída correta quando executado.

#Importância do Contexto Multimodal

Os pesquisadores realizaram experimentos para entender os efeitos dos diferentes tipos de contexto na geração de código de manipulação de dados. Eles descobriram que ter todos os três tipos de contexto-código, texto e dados-melhora significativamente o processo de geração de código.

Remover qualquer um desses contextos levou a um desempenho pior. Por exemplo, sem o contexto dos dados, os modelos tiveram dificuldade em gerar corretamente código que manipula os dados porque não podiam ver como os valores mudavam. Isso indica como esses contextos são interconectados e importantes no processo de escrever código de manipulação de dados eficaz.

#Avaliando os Modelos

Para avaliar a eficácia da sua abordagem, os pesquisadores testaram vários modelos, incluindo tanto modelos tradicionais de geração de código quanto modelos de linguagem de grande porte modernos (LLMs). Eles ajustaram esses modelos no novo conjunto de dados e observaram quão bem eles podiam gerar código de manipulação de dados com base no rico contexto fornecido.

Os resultados mostraram que modelos que usavam codificadores separados para contextos de código, texto e dados se saíram muito melhor do que aqueles que combinavam esses contextos em uma única entrada. Isso destacou a importância de manter os contextos distintos para melhorar a precisão e relevância da geração de código.

#Conclusões

O trabalho destaca o papel crítico do contexto na geração automatizada de código para tarefas de manipulação de dados. Ao reunir exemplos abrangentes que incorporam múltiplos contextos-código, texto e dados-os pesquisadores criaram um recurso valioso que pode aumentar a produtividade dos cientistas de dados.

Os resultados dos experimentos demonstram que incorporar contextos ricos pode levar a melhorias significativas na precisão da geração de código. Isso abre caminho para pesquisas futuras que poderiam explorar elementos contextuais adicionais, como artefatos de execução, como imagens e modelos de aprendizado de máquina, para enriquecer ainda mais a geração automatizada de código em cadernos computacionais.

#Direções Futuras

À medida que o campo continua a se desenvolver, várias avenidas para futuras pesquisas permanecem:

1. Incorporando Mais Elementos Contextuais: Além de apenas código, texto e dados, existem outros aspectos dos cadernos que podem fornecer contexto adicional para a geração de código. Isso inclui elementos como visualizações ou saídas de modelos que podem oferecer insights sobre os objetivos do programador.

2. Automatizando a Documentação: Escrever documentação clara em cadernos muitas vezes é negligenciado, mas é essencial para colaboração. Pesquisar como gerar automaticamente explicações para o código poderia melhorar a usabilidade dos cadernos.

3. Melhorando o Desempenho do Modelo: Ainda há muito espaço para melhoria em termos de desempenho do modelo. Trabalhos futuros poderiam se concentrar em desenvolver novos algoritmos ou técnicas para melhor utilizar o contexto e aumentar a qualidade do código gerado.

Em resumo, este trabalho representa um passo importante na manipulação automatizada de dados por meio da geração aprimorada de código. Ao focar na importância dos contextos multimodais, abre caminho para práticas de análise de dados mais eficientes e eficazes no futuro.