Uma Nova Abordagem para Analisar Dados Não Estruturados

Hoje, tem muita informação guardada em formatos que são complicados de entender, tipo arquivos de texto, PDFs, vídeos e por aí vai. Esse tipo de dado representa mais de 80% do que tá disponível, mas é difícil tirar informações úteis dele. A galera geralmente acha complicado fazer perguntas específicas ou analisar esses documentos porque não são organizados como os dados tradicionais. Pra piorar, usar ferramentas avançadas como Modelos de Linguagem Grande (LLMs) pode sair caro e nem sempre traz resultados precisos.

#O Desafio com Dados Não Estruturados

Dados não estruturados são informações que não têm um formato claro. Por exemplo, um documento do Word ou PDF pode ter conteúdo rico, mas não tá organizado de um jeito que facilite a busca ou análise. Por causa da sua natureza livre e da aparência, lidar com esses dados pode ser bem complicado.

Um problema comum acontece quando os usuários querem analisar documentos que seguem certos padrões. Por exemplo, as pautas de reuniões cívicas podem ter estruturas parecidas, mas as ferramentas disponíveis não dão conta de perguntas sobre esses documentos. A galera pode querer saber quantos projetos de construção foram discutidos em um conjunto de reuniões, mas as ferramentas que já existem têm dificuldade de encontrar essa informação com Precisão.

#Métodos Atuais e Suas Limitações

Muita gente usa LLMs pra processar documentos não estruturados, mas esse jeito muitas vezes leva a erros, especialmente quando lida com textos longos ou quando tenta aplicar filtros. O processo envolve identificar seções relevantes do texto com base na pergunta do usuário, mas essas ferramentas frequentemente deixam passar detalhes importantes. Elas também costumam ser caras quando se trata de processar vários documentos.

Outro método, chamado Geração Aumentada por Recuperação (RAG), tenta resolver esses problemas focando em partes menores do texto que estão relacionadas à consulta. No entanto, ainda pode ter dificuldade em recuperar informações relevantes, especialmente para consultas complexas. Ambos os métodos geralmente não oferecem uma boa precisão ou Custo-benefício.

#Apresentando uma Nova Abordagem para Análise de Documentos

Pra enfrentar os desafios mencionados, um novo sistema foi desenvolvido que foca na estrutura encontrada nos documentos. Esse sistema reconhece que muitos documentos seguem templates ou padrões. Por exemplo, artigos científicos, descrições de trabalho e documentos cívicos costumam ter formatos previsíveis. Ao entender esses formatos, o novo sistema consegue extrair informações valiosas de forma eficiente.

#Utilizando Estrutura Semântica

A ideia principal desse sistema é o uso de "Árvores Hierárquicas Semânticas" (SHTs). Essas árvores representam a estrutura de um documento, mostrando como diferentes seções se relacionam. Ao analisar os padrões visuais em documentos, como tamanhos de fonte ou títulos, o sistema pode construir essas árvores sem precisar de muito processamento.

Uma vez que a SHT é construída, os usuários podem impor um Esquema-basicamente um mapa do que é importante. Eles podem então consultar esses dados estruturados usando SQL, uma linguagem de banco de dados comum que permite análises complexas.

#Benefícios do Novo Sistema

O novo sistema de análise de documentos mostrou melhorias significativas tanto em precisão quanto em custo-efetividade. Experimentos indicam que ele pode superar LLMs tradicionais, alcançando melhor precisão e recuperação enquanto reduz os custos em até 30% comparado a outros métodos. Isso significa que os usuários conseguem respostas mais precisas enquanto gastam menos dinheiro no processamento.

#Como o Sistema Funciona

#Ingestão de Documentos e Extração de Estrutura

Quando documentos são adicionados ao sistema, o primeiro passo é entender a estrutura compartilhada. O sistema escaneia os documentos, identifica padrões visuais comuns e constrói Árvores Hierárquicas Semânticas. Cada nó na árvore representa uma parte importante da informação, como um título de seção ou um parágrafo.

1. Identificando Frases de Cabeçalho: O sistema usa padrões visuais pra determinar quais frases são cabeçalhos dentro de um documento. Esse processo é feito com cuidado pra garantir que apenas informações relevantes sejam incluídas nas SHTs.

2. Construindo a SHT: Uma vez que os cabeçalhos são identificados, eles são organizados em uma estrutura de árvore. Isso permite que o sistema crie uma hierarquia clara de informações que reflete como o documento está estruturado.

3. Correspondência de Templates: O sistema busca templates comuns entre vários documentos. Ao reconhecer esses templates, ele consegue economizar tempo e custo ao processar documentos similares.

#Interação do Usuário e Consultas

Depois que os documentos são processados, os usuários podem definir um esquema para as informações que querem analisar. Eles podem criar tabelas que descrevem os dados, usando comandos SQL pra executar consultas.

1. Criação do Esquema: Os usuários especificam os nomes e descrições das tabelas, assim como qualquer atributo relevante. Esse esquema atua como um guia de como os dados estão organizados.

2. Executando Consultas: Os usuários podem escrever consultas SQL com base no esquema definido. O sistema aproveita as SHTs pra recuperar apenas as partes relevantes do documento, minimizando a necessidade de chamadas caras a LLMs.

3. Redução de Custos e Latência: Ao otimizar como as consultas são feitas-empurrando certas operações pra baixo e puxando os dados necessários pra cima-o sistema consegue operar de forma mais eficiente. Isso significa resultados mais rápidos e menores custos pros usuários.

#Avaliação de Performance

O novo sistema de análise de documentos foi testado contra vários conjuntos de dados do mundo real, incluindo publicações científicas, relatórios de agendas cívicas e notificações de violação. Aqui estão algumas descobertas-chave desses testes:

#Precisão e Recuperação

O sistema mostrou grandes melhorias em precisão e recuperação se comparado aos métodos tradicionais. Nos testes, ele alcançou até 80% a mais de recuperação e 61% a mais de precisão do que as abordagens existentes. Isso significa que ele é muito mais eficaz em encontrar informações relevantes em grandes coleções de documentos.

#Eficiência de Custo

Junto com uma precisão melhor, os usuários também se beneficiam de custos reduzidos. O sistema conseguiu economizar até 30% para os usuários comparado ao uso direto de LLMs. À medida que o tamanho e a complexidade dos documentos aumentaram, as economias se tornaram ainda mais evidentes.

#Melhorias na Latência

O novo sistema processa consultas mais rápido do que os métodos tradicionais. Enquanto os sistemas tradicionais podem demorar mais pra responder, o novo sistema consegue entregar resultados com muito menos tempo de espera, o que é crucial pra experiência do usuário.

#Conclusão

O desenvolvimento de um novo sistema de análise de documentos representa um grande avanço em como podemos analisar dados não estruturados. Ao utilizar as estruturas inerentes encontradas nos documentos e permitindo que os usuários interajam com esses dados usando consultas SQL familiares, o sistema enfrenta muitos dos desafios impostos pelos métodos tradicionais. Os resultados positivos de testes extensivos indicam que essa abordagem não só melhora a precisão, mas também torna os custos de processamento mais gerenciáveis.

Os usuários podem esperar uma experiência mais simplificada e eficiente ao trabalhar com dados não estruturados, abrindo novas possibilidades para análise de dados em várias áreas, incluindo pesquisa, governo e negócios. Esse sistema prepara o terreno para futuros avanços na análise de documentos, onde o foco continuará sendo tornar dados não estruturados acessíveis e úteis.