Apresentando o FlowLearn: Um Novo Conjunto de Dados para Entender Fluxogramas

Fluxogramas são ferramentas visuais que ajudam a mostrar ideias complexas de um jeito simples. Este artigo apresenta o dataset FlowLearn, que inclui fluxogramas feitos para ajudar a melhorar como os computadores entendem esses diagramas. O dataset tem duas partes principais: uma com fluxogramas científicos reais e outra com fluxogramas inventados. A parte científica tem 3.858 fluxogramas retirados de artigos de pesquisa, enquanto a parte inventada tem 10.000 fluxogramas criados por um programa especial.

Cada fluxograma no dataset vem com anotações sobre o que está mostrado, incluindo qualquer texto nos gráficos e perguntas com respostas relacionadas a eles. Mesmo que grandes modelos que combinam visão e linguagem tenham se saído bem em outras tarefas visuais, a habilidade deles de entender fluxogramas-importante na comunicação científica-não foi completamente testada. O conjunto de teste FlowLearn foi projetado para ver quão bem esses modelos conseguem entender fluxogramas.

Nosso estudo analisa de perto vários modelos líderes, vendo onde eles se saem bem e onde podem melhorar nessa área menos explorada. Por exemplo, em tarefas com fluxogramas simulados, um modelo, o GPT-4V, conseguiu contar corretamente o número de caixas em 58% dos casos, enquanto outro modelo, o Claude, se destacou na leitura do texto dentro dos fluxogramas, alcançando 83% de precisão. No entanto, nenhum modelo único teve o melhor desempenho em todas as tarefas, mostrando que ainda há muito espaço para melhorias.

Fluxogramas ajudam a esclarecer processos e ideias complexas em várias áreas. Esses diagramas facilitam a compreensão e o compartilhamento de informações. Para este artigo, um fluxograma é definido como um diagrama que mostra uma série de passos usando símbolos padrão, como retângulos para ações e setas para mostrar direção.

Entender fluxogramas, especialmente nos campos de visão computacional e modelos de linguagem, ainda é uma área nova de pesquisa. Os recursos atuais que incluem fluxogramas científicos são limitados e muitas vezes oferecem apenas informações básicas, dificultando a avaliação completa do desempenho dos modelos. Dada a complexidade dos fluxogramas, que envolvem reconhecer texto, identificar diferentes formas e suas conexões, e acompanhar como os elementos se relacionam, está claro que precisamos de melhores recursos.

Nossa análise inicial de 208 fluxogramas de outro dataset mostrou resultados decepcionantes ao serem testados com um modelo de visão-linguagem, com uma pontuação baixa indicando uma compreensão ruim. Essa pontuação baixa provavelmente foi porque as legendas fornecidas com esses fluxogramas eram muito curtas ou básicas. Com uma média de apenas nove palavras por legenda, é difícil para os modelos aprenderem de forma eficaz.

Para melhorar essa situação, apresentamos o dataset FlowLearn, que visa fornecer informações mais detalhadas e úteis para entender fluxogramas. A parte científica tem 3.858 fluxogramas coletados de artigos de pesquisa, com um contexto e texto mais amplos. A parte inventada consiste em 10.000 fluxogramas criados a partir de instruções de codificação específicas.

Essa segunda parte adiciona profundidade ao incluir anotações detalhadas sobre os elementos visuais, permitindo melhores avaliações de como os modelos realizam tarefas específicas. Ambos os conjuntos também vêm com pares de perguntas e respostas para apoiar ainda mais o treinamento e a avaliação.

Além de criar um novo dataset para aprimorar a compreensão de fluxogramas, este artigo analisa quão bem modelos de ponta se saem ao interpretar fluxogramas. Encontramos áreas significativas para melhorias, sem que nenhum modelo se destacasse em todas as tarefas. Em tarefas focadas em fluxogramas inventados, o GPT-4V novamente liderou, com 58% de precisão na contagem de nós, mas diferentes modelos brilharam em áreas diferentes, destacando a necessidade de mais desenvolvimento.

O dataset FlowLearn visa fornecer uma melhor base para futuras pesquisas, aprimorando a interpretação de dados visuais e o raciocínio automatizado para fluxogramas. Este trabalho é oportuno, considerando os avanços rápidos em modelos de linguagem e visão.

#Visão Geral do Dataset FlowLearn

O dataset FlowLearn oferece duas seções principais: Fluxogramas Científicos e Fluxogramas Simulados. Este dataset inclui várias tarefas usadas para avaliar quão bem os modelos entendem e processam fluxogramas.

#Dataset de Fluxogramas Científicos

O Dataset de Fluxogramas Científicos contém fluxogramas retirados de uma ampla gama de artigos científicos. Para criar esta parte, coletamos 27.000 artigos de pesquisa de um repositório público. Usando ferramentas de software, extraímos as figuras e as principais informações.

Filtramos essas figuras usando palavras-chave específicas que são frequentemente associadas a fluxogramas, como "ilustração" e "fluxograma". Nosso objetivo era capturar imagens que mostrassem claramente a estrutura do fluxograma. Esse esforço resultou em uma coleção de 3.858 fluxogramas retirados de 2.674 documentos diferentes.

Cada fluxograma vem com informações detalhadas sobre sua origem. Isso inclui o título do artigo e o texto que aparece nos diagramas. Usamos uma ferramenta de Reconhecimento de Texto para anotar todo o texto em cada fluxograma, permitindo avaliar várias tarefas relacionadas à compreensão de fluxogramas.

#Fluxogramas Simulados

Os fluxogramas inventados foram desenvolvidos para reforçar a compreensão de fluxogramas além da simples legendagem. Esses gráficos foram criados usando uma ferramenta de codificação que transforma texto simples em gráficos de fluxograma.

Para esta parte, geramos 10.000 fluxogramas com características variadas, como o número de caixas e os tipos de conexões entre elas. Também escolhemos cores aleatórias para o fundo e a orientação dos fluxogramas.

Cada fluxograma inclui imagens em formatos de imagem padrão e código associado para facilitar a manipulação. Anotações detalhadas identificam elementos dentro de cada fluxograma, permitindo avaliações melhoradas de seus componentes.

#Perguntas Visuais e Respostas

Para avaliar quão bem diferentes modelos compreendem fluxogramas, criamos perguntas personalizadas para cada fluxograma no dataset. Garantimos que essas perguntas fossem detalhadas o suficiente para ajudar os modelos a fornecer respostas precisas.

As tarefas comuns em ambas as partes incluem:

• Reconhecimento de Texto: Pedir aos modelos para encontrar e retornar texto específico em um fluxograma.
• Perguntas Verdadeiras/Falsas: Gerar declarações relacionadas ao fluxograma e verificar se os modelos as identificam como verdadeiras ou falsas.
• Tarefas de Descrição: Pedir aos modelos para resumir o conteúdo do fluxograma.

A seção de fluxogramas simulados também inclui tarefas únicas, como:

• Gerar código que descreva a estrutura do fluxograma.
• Contar o número de caixas e setas no fluxograma.

#Configuração do Experimento

Esta seção descreve como testamos vários modelos usando o dataset FlowLearn. Queríamos ver quão eficazes esses modelos eram na interpretação de fluxogramas das duas partes do dataset.

Selecionamos modelos com base em suas classificações de um sistema de avaliação bem conhecido. Acessamos alguns modelos por meio de interfaces de programação de aplicativos (APIs) e também testamos vários outros diretamente. Nosso objetivo era incluir modelos top de diferentes famílias para fornecer uma análise abrangente.

#Métricas de Avaliação

Para medir o desempenho dos modelos, categorizamos as tarefas em três grupos, cada um com métodos de avaliação específicos:

• Tarefas de Precisão: Essas incluem tarefas de reconhecimento de texto e contagem, onde medimos com que frequência os modelos respondem corretamente.
• Tarefas de Descrição: Compararmos as descrições geradas pelos modelos com referências estabelecidas para ver quão próximas elas estão.
• Tarefas de Geração de Código: Aqui, verificamos se o código gerado representa com precisão a estrutura do fluxograma.

Para cada modelo avaliado, calculamos várias pontuações para apresentar uma imagem clara de suas capacidades. Essas pontuações ajudam a entender quão bem cada modelo se sai em diferentes tarefas.

#Resultados do Experimento

Nesta seção, compartilhamos os resultados dos nossos testes de modelos em diferentes tarefas dentro do dataset FlowLearn. Cada tarefa foi projetada para avaliar diferentes aspectos do desempenho do modelo.

#Tarefas de Precisão

O primeiro grupo olhou como os modelos conseguiram responder perguntas diretas que exigiam respostas precisas. Fizemos várias observações:

1. Nenhum modelo único se destacou: Enquanto o Gemini-Pro-Vision geralmente teve o melhor desempenho para fluxogramas científicos, outros modelos, incluindo o GPT-4V, também mostraram resultados fortes em áreas específicas.
2. Respostas incorretas: Alguns modelos tiveram dificuldades em fornecer respostas relevantes para perguntas Verdadeiras/Falsas, indicando problemas com sua compreensão.
3. Dificuldades na contagem: As tarefas de contagem foram particularmente desafiadoras para a maioria dos modelos, levando a pontuações mais baixas nessa área.

#Tarefas de Descrição

O segundo conjunto de tarefas analisou como os modelos puderam criar descrições de fluxogramas. Descobrimos que:

1. Muitos modelos se saíram bem em fornecer descrições lógicas, mas frequentemente erraram em detalhes.
2. Os modelos geralmente se saíram melhor ao descrever fluxogramas mais simples.
3. Descrições mais longas tendiam a ter mais erros.

#Tarefas de Código Mermaid

O último conjunto avaliou a capacidade dos modelos de transformar fluxogramas em código. Essas tarefas destacaram os desafios que os modelos enfrentaram:

• Muitos modelos tiveram dificuldades em produzir código correto.
• Problemas em reconhecer os elementos precisos dos fluxogramas levaram a um desempenho ruim.

#Trabalhos Futuros

Este estudo identificou várias áreas para expandir o dataset FlowLearn e melhor apoiar pesquisas futuras:

1. Melhorias no conjunto de treinamento: Precisamos criar declarações Verdadeiras/Falsas para os exemplos de treinamento, não apenas para os testes, para reforçar o aprendizado dos modelos.
2. Aumentar o tamanho do dataset: Expandir a coleção de fluxogramas científicos além do limite atual melhoraria o treinamento dos modelos.
3. Aprimoramento das descrições: Extrair mais texto descritivo dos documentos poderia fornecer um contexto mais rico para avaliar as descrições dos modelos.

#Conclusão

Resumindo, introduzimos e avaliamos o dataset FlowLearn, que visa melhorar a compreensão de fluxogramas pelos modelos. Nossos testes cobriram várias tarefas, revelando tanto pontos fortes quanto fracos no desempenho dos modelos. Embora os modelos mostrassem potencial em tarefas básicas como leitura de texto, eles enfrentaram dificuldades com requisitos mais complexos, como geração de código.

Este trabalho destaca uma lacuna significativa nos recursos atuais voltados para a compreensão de fluxogramas. Ao fornecer anotações detalhadas para fluxogramas e desafiar os modelos a entendê-los melhor, esperamos contribuir com ferramentas valiosas para futuras pesquisas e desenvolvimento em raciocínio e compreensão visual.