Simple Science

Ciência de ponta explicada de forma simples

# Informática# Interação Homem-Computador

Navegando na Análise de Dados com Apoio de IA

Aprenda como os analistas juntam ferramentas e técnicas para uma análise de dados eficaz.

― 10 min ler


IA em Fluxos de TrabalhoIA em Fluxos de Trabalhode Análise de Dadoscom métodos estruturados.Analistas verificam os resultados da IA
Índice

A análise de dados é uma tarefa complexa que exige juntar conhecimentos de diferentes áreas, como entender o assunto, usar métodos estatísticos e aplicar habilidades de programação. Com o crescimento das ferramentas de IA, os analistas estão encontrando ajuda nesses assistentes para lidar com tarefas de análise de dados de forma mais eficiente. No entanto, essas ferramentas às vezes podem errar, tornando necessário que os analistas verifiquem os resultados com cuidado.

Fluxos de Trabalho dos Analistas em Análise de Dados

Quando os analistas começam a analisar dados, eles geralmente seguem uma série de etapas para chegar a conclusões significativas. Esses fluxos de trabalho podem variar bastante dependendo do background do analista, das ferramentas que usam e dos dados específicos com os quais estão trabalhando. Dois tipos principais de fluxos de trabalho surgem no processo de análise: fluxos de trabalho orientados a procedimentos e fluxos de trabalho orientados a dados.

Fluxos de Trabalho Orientados a Procedimentos

Analistas que usam um fluxo de trabalho orientado a procedimentos focam principalmente nas etapas que a ferramenta de IA seguiu para gerar os resultados. Eles podem se perguntar: "O que a IA fez?" Isso envolve olhar de perto o código, as explicações em linguagem natural fornecidas pela IA e quaisquer comentários associados. Os analistas costumam tentar entender como a IA chegou a suas conclusões para confirmar se os processos que ela usou foram válidos.

Por exemplo, se um analista suspeitar de um erro, pode começar revisando o código e seu fluxo lógico. Eles vão verificar se a IA seguiu as etapas necessárias de forma sistemática. Esse método permite que eles verifiquem cada parte do processo para garantir que está alinhada com sua compreensão dos dados e dos objetivos da análise.

Fluxos de Trabalho Orientados a Dados

Por outro lado, fluxos de trabalho orientados a dados priorizam entender os próprios dados usados na análise. Analistas dessa categoria podem perguntar: "Os dados fazem sentido?" Esses analistas tendem a se concentrar em examinar as tabelas de dados, verificando a consistência e validando os resultados diretamente contra o conjunto de dados.

Por exemplo, se notarem algo estranho na saída da IA, podem mergulhar no conjunto de dados original para verificar os números. Isso pode envolver olhar colunas específicas ou fazer seus próprios cálculos para ver se batem com os resultados da IA. Esse método garante que as descobertas sejam baseadas em dados sólidos em vez de confiar cegamente nas conclusões da IA.

Ferramentas e Artefatos Usados pelos Analistas

Para apoiar seus fluxos de trabalho, os analistas confiam em várias ferramentas e artefatos. Isso pode incluir planilhas, ambientes de programação e até mesmo chatbots de IA que podem ajudar na análise de dados. Os artefatos usados durante a análise podem ser divididos em duas categorias: artefatos de procedimento e Artefatos de Dados.

Artefatos de Procedimento

Artefatos de procedimento se referem a elementos como trechos de código, comentários e explicações em linguagem natural geradas por ferramentas de IA. Esses artefatos são cruciais para analistas durante fluxos de trabalho orientados a procedimentos porque proporcionam informações sobre como a IA processou os dados.

Por exemplo, um analista pode revisar as explicações em linguagem natural da IA para ter uma compreensão geral das etapas seguidas na análise. Ao combinar essa compreensão com o código real, eles podem verificar se há erros ou más interpretações no processo.

Artefatos de Dados

Artefatos de dados incluem tabelas de dados originais, resumos visuais dos dados e quaisquer resultados intermediários produzidos durante a análise. Esses artefatos são essenciais durante fluxos de trabalho orientados a dados, já que permitem que os analistas inspeccionem os dados diretamente e determinem se as conclusões tiradas são precisas.

Por exemplo, um analista pode olhar para uma visualização resumida para avaliar rapidamente a distribuição de valores dentro de um conjunto de dados. Se a visualização sugerir algo incomum, eles podem então investigar mais a fundo os dados originais para confirmar ou refutar as descobertas relatadas pela IA.

Impacto do Background dos Analistas

O background de um analista pode influenciar bastante sua abordagem à análise de dados e as ferramentas que utilizam. Aqueles com fortes habilidades de programação ou experiência em análise de dados podem se sentir mais confiantes usando métodos orientados a procedimentos e revisando código. Em contraste, analistas com um foco maior em dados podem preferir fluxos de trabalho orientados a dados.

Experiência com Dados

Analistas que trabalharam extensivamente com dados geralmente têm uma compreensão inerente das relações entre diferentes colunas de dados e a estrutura geral dos conjuntos de dados. Essa experiência pode levá-los a ser mais cautelosos e rigorosos na validação das saídas dos dados. Eles podem instintivamente verificar problemas de qualidade dos dados ou anomalias no conjunto de dados antes de confiar nas conclusões geradas pela IA.

Por exemplo, um analista com um background em finanças pode estar particularmente atento a garantir que os números financeiros em relatórios sejam precisos e bem sustentados pelos dados subjacentes.

Conforto com Programação

Por outro lado, analistas que se sentem mais à vontade com linguagens de programação podem preferir se concentrar no código gerado pelas ferramentas de IA. Eles podem se sentir mais capacitados para avaliar o fluxo lógico das operações da IA e identificar possíveis erros no código.

Por exemplo, um engenheiro de software pode se sentir mais inclinado a mergulhar nas linhas específicas do código para garantir que as operações realizadas sejam consistentes com suas expectativas baseadas no objetivo da análise. Esse conhecimento de programação também pode ajudá-los a traduzir o código em linguagens ou operações mais familiares se não estiverem bem versados na linguagem de programação usada pela IA.

Familiaridade com Ferramentas Existentes

Os analistas geralmente têm ferramentas preferidas às quais estão acostumados, como planilhas, cadernos computacionais ou ambientes de programação específicos. Essa familiaridade pode moldar sua interação com ferramentas de IA, levando-os a buscar funcionalidades que se alinhem com seus fluxos de trabalho habituais.

Por exemplo, um analista que está acostumado a planilhas pode esperar ver funcionalidades familiares, como opções de classificação e filtragem, integradas nas ferramentas de IA que estão usando.

Verificação de Saídas Geradas por IA

Dadas as dificuldades de confiar apenas nas saídas geradas pela IA, os analistas devem se envolver em processos de verificação para confirmar que os resultados são precisos. Essa verificação envolve pensamento crítico e engajamento ativo com artefatos de procedimento e artefatos de dados.

Importância da Reflexão Crítica

Os analistas devem refletir criticamente sobre as saídas da IA, perguntando-se sobre as suposições feitas durante a análise e se os resultados estão alinhados com sua compreensão dos dados. Por exemplo, se um analista observa que uma saída gerada pela IA parece suspeita ou inconsistente, isso os leva a investigar mais.

Essa reflexão crítica pode levar a descobertas sobre possíveis erros, seja por mal-entendidos ou cálculos falhos feitos pela IA. Os analistas podem precisar questionar como a IA interpretou o prompt inicial, como ela lidou com os dados e se seguiu os procedimentos analíticos adequados.

Verificações de Consistência

Para criar confiança nas saídas geradas pela IA, os analistas costumam usar verificações de consistência durante seus processos de verificação. Essas verificações envolvem inspeções visuais rápidas, cálculos manuais ou comparações de resultados com valores esperados. Por exemplo, se uma ferramenta de IA afirma que um certo número de produtos únicos foi vendido, um analista pode rapidamente verificar os dados originais para ver se esse número parece razoável com base em seu conhecimento ou experiência.

Verificações de consistência são valiosas para identificar discrepâncias que merecem mais investigação. Se um analista descobrir que a saída da IA não está alinhada com suas expectativas, provavelmente ele irá investigar mais a fundo para entender o porquê.

Direções Futuras para Análise de Dados Assistida por IA

À medida que as ferramentas de IA se tornam cada vez mais integradas aos fluxos de trabalho de análise de dados, existem oportunidades para melhorar a usabilidade e a eficácia dessas ferramentas. Focando nas necessidades dos analistas e em seus fluxos de trabalho preferidos, os designers podem criar ferramentas assistidas por IA que apoiem melhor os processos de verificação.

Suportando Ambos os Fluxos de Trabalho

Os designers devem se esforçar para criar interfaces que suportem tanto fluxos de trabalho orientados a procedimentos quanto fluxos de trabalho orientados a dados. Os analistas devem conseguir transitar sem problemas entre a análise de código e dados, permitindo que eles sigam seus processos de verificação sem interrupções.

Por exemplo, quando um analista clica em uma etapa específica no código da IA, ele deve ter acesso ao artefato de dados relevante que corresponde a essa etapa. Essa relação mútua entre procedimentos e dados permitirá que os analistas trabalhem de forma mais eficaz.

Comunicando Operações de Dados

É essencial que as ferramentas de IA comuniquem as operações realizadas nos dados de uma maneira clara. Ao fornecer várias formas de interpretar operações de dados, os analistas se sentirão mais confiantes em sua capacidade de verificar as saídas geradas pela IA.

Por exemplo, traduzir código em diferentes linguagens de programação ou evitar jargões técnicos em explicações em linguagem natural pode ajudar a tornar essas ferramentas mais acessíveis a analistas com diferentes níveis de habilidades de programação.

Destacando Suposições

As ferramentas de IA devem comunicar claramente quaisquer suposições feitas sobre os dados e o processo de análise. Ao delinear suposições-chave, como interpretações de cabeçalhos de colunas ou relacionamentos esperados entre variáveis, os analistas podem entender melhor o contexto em que a IA está operando.

Essa transparência pode levar a processos de verificação mais informados e, em última análise, melhorar a qualidade das análises geradas por IA.

Conclusão

Os analistas desempenham um papel crucial para garantir a confiabilidade das saídas geradas por IA na análise de dados. Ao entender seus fluxos de trabalho e os artefatos de que dependem, os analistas podem se envolver em processos de verificação que aumentam sua confiança nos resultados.

À medida que as ferramentas de IA continuam a evoluir, os designers devem focar em apoiar tanto fluxos de trabalho orientados a procedimentos quanto orientados a dados, enquanto promovem uma comunicação clara de operações e suposições. Assim, podem criar experiências de análise de dados assistidas por IA mais eficazes que capacitem os analistas a tomar decisões informadas. Equilibrar os pontos fortes da IA com a expertise humana vai levar a resultados mais precisos e confiáveis no campo da análise de dados.

Fonte original

Título: How Do Analysts Understand and Verify AI-Assisted Data Analyses?

Resumo: Data analysis is challenging as it requires synthesizing domain knowledge, statistical expertise, and programming skills. Assistants powered by large language models (LLMs), such as ChatGPT, can assist analysts by translating natural language instructions into code. However, AI-assistant responses and analysis code can be misaligned with the analyst's intent or be seemingly correct but lead to incorrect conclusions. Therefore, validating AI assistance is crucial and challenging. Here, we explore how analysts understand and verify the correctness of AI-generated analyses. To observe analysts in diverse verification approaches, we develop a design probe equipped with natural language explanations, code, visualizations, and interactive data tables with common data operations. Through a qualitative user study (n=22) using this probe, we uncover common behaviors within verification workflows and how analysts' programming, analysis, and tool backgrounds reflect these behaviors. Additionally, we provide recommendations for analysts and highlight opportunities for designers to improve future AI-assistant experiences.

Autores: Ken Gu, Ruoxi Shang, Tim Althoff, Chenglong Wang, Steven M. Drucker

Última atualização: 2024-03-04 00:00:00

Idioma: English

Fonte URL: https://arxiv.org/abs/2309.10947

Fonte PDF: https://arxiv.org/pdf/2309.10947

Licença: https://creativecommons.org/licenses/by/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.

Mais de autores

Artigos semelhantes