Criando Ferramentas para Análise de Dados com LLM

Modelos de Linguagem Grandes (LLMs) são programas de computador feitos pra entender e gerar linguagem humana. Eles conseguem fazer várias tarefas, incluindo análise de dados. Mas, LLMs muitas vezes têm dificuldade com tarefas específicas de áreas como medicina ou finanças. Esse artigo fala sobre como a gente pode criar ferramentas que usam LLMs especificamente pra essas áreas, focando em como os usuários interagem com as ferramentas e quanto controle eles têm sobre o processo.

#Contexto

Nos últimos anos, LLMs mostraram que podem ser super úteis em tarefas gerais, tipo escrever, responder perguntas ou criar código. Muita gente e empresas tão começando a explorar como esses modelos podem ajudar na programacão e análise de dados. Ferramentas como Github Copilot e ChatGPT ganharam bastante atenção porque ajudam os desenvolvedores a trabalhar mais rápido e felizes.

Mas, enquanto esses modelos são bons em tarefas gerais, eles nem sempre entendem as informações detalhadas necessárias pra trabalhos específicos. Por exemplo, as informações usadas na análise de dados podem ser bem complexas e precisam de um entendimento profundo da área. Essa lacuna significa que precisamos pensar direitinho em como criar ferramentas que funcionem melhor com esses modelos em áreas específicas.

#Criando Ferramentas Específicas

A gente olhou pra criação de ferramentas que usam LLMs pra tarefas específicas de análise de dados em várias áreas. Focamos em duas áreas principais: como os usuários interagem com as ferramentas e o controle que eles têm sobre o processo.

#Interação do Usuário

Quando os usuários interagem com ferramentas movidas por IA, eles podem escolher ter interações abertas ou estruturadas. Ferramentas abertas permitem que os usuários façam perguntas livremente ou peçam ajuda, enquanto ferramentas estruturadas guiam os usuários por um conjunto de passos pré-definidos. A gente criou dois protótipos pra testar esses estilos diferentes de interação.

• Ferramenta de Alto Controle: Nessa ferramenta, os usuários têm bastante liberdade em como interagem. Eles podem fazer perguntas do jeito deles e têm controle total sobre o processo de análise.

• Ferramenta de Baixo Controle: Essa ferramenta guia os usuários passo a passo pela análise, oferecendo uma experiência mais estruturada. Os usuários têm menos flexibilidade, mas recebem mais direção.

#Controle do Usuário

O controle do usuário se refere a quanto controle eles têm no processo. No nosso estudo, queríamos descobrir como o nível de controle impactava a experiência do usuário. Com a ferramenta de alto controle, os usuários sentiram que podiam explorar mais livremente, mas alguns achavam isso meio demais. Em contraste, enquanto a ferramenta de baixo controle oferecia mais orientação, às vezes fazia os usuários se sentirem restritos.

#Metodologia

Pra entender como os usuários interagiam com essas ferramentas, fizemos entrevistas com nove cientistas de dados. Eles trabalharam em tarefas específicas usando ambos os protótipos, e a gente observou as experiências deles e coletou feedback.

#Processo de Entrevista

As entrevistas incluíram três partes:

1. Entrevista Pré-estudo: Perguntamos aos participantes sobre suas experiências em análise de dados, incluindo como eles apresentam resultados para colegas e stakeholders.

2. Concretização de Tarefas: Os participantes completaram duas tarefas específicas de análise de dados usando ambas as ferramentas enquanto falavam sobre suas experiências.

3. Sessão de Feedback: Depois de completar as tarefas, os participantes compartilharam seus pensamentos sobre ambas as ferramentas, comentando o que gostaram e o que não gostaram.

#Principais Descobertas

Nosso estudo revelou várias percepções importantes sobre as experiências dos usuários com ferramentas de análise de dados movidas por LLMs.

#Percepções dos Resultados dos LLMs

Os usuários estavam, de modo geral, satisfeitos com os resultados dos LLMs pra análise de dados, mas tinham algumas preocupações:

• Qualidade dos Resultados: Os participantes apreciaram ter um ponto de partida pros seus trabalhos vindo dos LLMs, mas notaram que às vezes o código gerado tinha erros.

• Confiança e Verificabilidade: Os usuários expressaram hesitação sobre os resultados, frequentemente sentindo que precisavam verificar os resultados de forma independente. A falta de confiança veio de não saber como o LLM chegou a suas conclusões.

• Necessidade de Explicações: Os usuários queriam explicações claras sobre como o LLM formulou seus resultados. Eles frequentemente se sentiam confusos quando não entendiam o raciocínio por trás dos resultados.

#Efeitos dos Modos de Interação

Diferentes modos de interação afetaram o comportamento dos usuários:

• No ambiente de alto controle, os usuários frequentemente incluíam informações mais detalhadas pra ajudar o LLM a entender suas necessidades. Esse processo era cansativo pra alguns, pois eles se viam escrevendo notas ou contextos antes de interagir com a ferramenta.

• No ambiente de baixo controle, os usuários confiavam na orientação estruturada da ferramenta, que às vezes limitava a capacidade deles de fornecer contexto detalhado. Isso fazia com que eles adotassem uma abordagem mais simples ao inserir dados.

#Tratamento de Erros

Quando enfrentavam erros, os usuários de alto controle se envolviam ativamente em diagnosticar os problemas por conta própria. Eles costumavam copiar mensagens de erro e buscar feedback do LLM. Em contraste, os usuários de baixo controle eram menos práticos e confiavam na ferramenta pra gerenciar erros automaticamente, o que às vezes resultava em perder etapas importantes de solução de problemas.

#Recomendações de Design

Com base nas nossas descobertas, propomos várias recomendações pra criar ferramentas movidas por LLMs pra análise de dados:

#Interação Estruturada

Embora a interação aberta tenha se tornado popular, há um valor significativo em fluxos de trabalho estruturados que guiam os usuários nas tarefas. Ferramentas que combinam ambos os estilos podem melhorar a experiência do usuário. Os desenvolvedores deveriam considerar implementar um sistema onde os usuários podem escolher entre um processo guiado e exploração aberta.

#Controle na Execução

Os participantes demonstraram interesse em manter o controle sobre a execução dos processos. Oferecer aos usuários a opção de modificar o código ou ajustar análises antes da execução pode melhorar a experiência deles. Além disso, automatizar tarefas comuns de preparação de dados pode economizar tempo pros usuários, permitindo que eles se concentrem em análises mais complexas.

#Controle do Usuário no Planejamento

Embora os usuários tenham apreciado o suporte na execução, eles expressaram hesitação em relação à assistência de planejamento fornecida pelos LLMs. As ferramentas deveriam oferecer sugestões e ideias enquanto permitem que a autoridade final de decisão permaneça com os usuários. Esse equilíbrio pode ajudar a construir confiança e segurança no sistema.

#Conclusão

Nossa pesquisa destaca o potencial dos LLMs em ajudar com tarefas específicas de análise de dados, ao mesmo tempo que aponta a importância dos estilos de interação e níveis de controle do usuário. Ao entender como os usuários interagem com essas ferramentas, os designers podem criar aplicações movidas por IA mais eficazes que atendam às suas necessidades.

O estudo abre caminhos pra mais pesquisas sobre como melhorar a integração dos LLMs em várias áreas especializadas, enfatizando a necessidade de transparência, construção de confiança e designs de interação adaptáveis. Futuras desenvolvimentos devem considerar os diversos contextos e habilidades dos usuários pra criar ferramentas que não sejam apenas eficazes, mas também fáceis de usar.

Com um design cuidadoso, a gente pode garantir que a análise de dados movida por LLM se torne um ativo valioso pra profissionais de várias áreas, ajudando eles a alcançar resultados mais eficientes e precisos.