Evaluando la lectura de documentos con DocBench
DocBench evalúa sistemas basados en LLM para leer y responder a diferentes formatos de documentos.
― 5 minilectura
Tabla de contenidos
- ¿Qué es DocBench?
- Importancia de los Sistemas de Lectura de Documentos
- El Desafío de Leer Documentos
- Creando el Conjunto de Datos de DocBench
- Resumen del Conjunto de Datos de DocBench
- Evaluación de los Sistemas de Lectura de Documentos
- Hallazgos de las Evaluaciones
- Brechas en el Rendimiento
- Desafíos Clave Identificados
- Conclusión
- Fuente original
- Enlaces de referencia
Los modelos de lenguaje grandes (LLMs) se han vuelto herramientas populares para tareas como responder Preguntas y resumir textos. Sin embargo, muchas tareas del mundo real implican Documentos que los usuarios proporcionan, lo que requiere un enfoque diferente. Este artículo presenta un estándar llamado DocBench, que ayuda a evaluar qué tan bien los sistemas basados en LLM leen y responden a documentos.
¿Qué es DocBench?
DocBench está diseñado para evaluar el rendimiento de los sistemas que leen documentos y responden preguntas. Incluye 229 documentos reales y 1,102 preguntas en cinco áreas: academia, finanzas, gobierno, leyes y noticias. El estándar busca reflejar escenarios del mundo real donde los usuarios suben documentos y hacen preguntas basadas en esos documentos.
Importancia de los Sistemas de Lectura de Documentos
Leer documentos es una necesidad común en muchas profesiones. Por ejemplo, los expertos financieros revisan informes para tomar decisiones de inversión, mientras que los abogados buscan en documentos legales casos relevantes. Los científicos también revisan numerosos artículos para encontrar hallazgos importantes. Los LLMs tradicionales pueden tener dificultades con estas tareas, ya que solo manejan entradas de texto simples, no formatos complejos como PDFs o imágenes.
El Desafío de Leer Documentos
A diferencia de las tareas simples de respuesta a preguntas, leer documentos implica interacciones complejas. Los sistemas deben entender el texto y manejar varios formatos, como tablas e imágenes. Para hacerlo de manera efectiva, necesitan procesar y extraer información de los documentos, comprender las preguntas de los usuarios y gestionar textos largos.
Creando el Conjunto de Datos de DocBench
Crear el conjunto de datos de DocBench involucró tres pasos principales:
Recolección de Documentos: Los investigadores reunieron una variedad de documentos de fuentes en línea públicamente disponibles en las cinco áreas elegidas. Se centraron en obtener PDFs de alta calidad que reflejen el uso en el mundo real.
Generación de Preguntas: Después de recolectar documentos, crearon preguntas relacionadas con el contenido. Una combinación de LLMs y anotadores humanos ayudó a producir un conjunto diverso de preguntas, incluyendo aquellas que requieren entender figuras y tablas.
Control de Calidad: Las preguntas creadas pasaron por un proceso de filtrado automático, seguido de una revisión manual para asegurar que fueran sensatas y precisas. Expertos también revisaron los datos para una validación adicional.
Resumen del Conjunto de Datos de DocBench
El conjunto de datos de DocBench consiste en 229 documentos PDF y 1,102 preguntas, cubriendo múltiples dominios. Las preguntas se clasifican en cuatro tipos: solo texto, multimodal (que incluye imágenes y tablas), metadatos (como números de página) y preguntas sin respuesta (para las cuales no se puede encontrar respuesta en el documento). Este rango asegura que el estándar pruebe diferentes capacidades de los sistemas de lectura de documentos.
Evaluación de los Sistemas de Lectura de Documentos
El proceso de evaluación implica probar varios sistemas basados en LLM para ver qué tan bien responden preguntas basadas en los documentos. Los investigadores se centraron en sistemas que podían acceder a documentos a través de interfaces web o APIs, así como aquellos que usaron modelos de código abierto en un enfoque de pipeline.
Hallazgos de las Evaluaciones
Las evaluaciones mostraron que muchos sistemas de lectura de documentos todavía tienen brechas en comparación con el rendimiento humano. Algunos sistemas funcionaron bien con preguntas sencillas, pero tuvieron problemas con tareas complejas, especialmente aquellas que requerían la extracción de información de tablas o imágenes.
Brechas en el Rendimiento
Interacciones Complejas: Los sistemas a menudo fallaban cuando tenían que localizar figuras o tablas específicas dentro de los documentos. A veces extraían datos incorrectos o no realizaban los cálculos necesarios.
Manejo de Documentos Largos: Muchos sistemas tenían dificultades para gestionar documentos extensos debido a limitaciones en cuánto texto pueden procesar a la vez. Algunos tuvieron un rendimiento deficiente en documentos financieros porque suelen ser más largos y complejos.
Fidelidad a Documentos Proporcionados por el Usuario: Algunos sistemas tuvieron problemas para manejar preguntas que no podían ser respondidas con los documentos dados. Los usuarios esperan que los sistemas se apeguen estrechamente al texto proporcionado, pero muchos no cumplieron con ese estándar.
Desafíos Clave Identificados
La investigación identificó varios desafíos que necesitan ser abordados para mejorar los sistemas de lectura de documentos:
Adaptarse a la Longitud del Documento: Los sistemas deben ser capaces de gestionar documentos de varios tamaños manteniendo la precisión.
Mejorar la Comprensión de Información Multimodal: Se necesitan mejores métodos para interpretar formatos complejos que incluyan texto, imágenes y tablas.
Mejorar la Fidelidad: Los sistemas futuros deben desarrollarse para proporcionar respuestas más precisas estrictamente basadas en los documentos proporcionados por el usuario.
Conclusión
DocBench sirve como una herramienta esencial para evaluar la efectividad de los sistemas de lectura de documentos basados en LLM. Al analizar el rendimiento a través de una variedad de escenarios del mundo real, destaca fortalezas y debilidades en los sistemas actuales. Esta investigación ofrece importantes ideas sobre cómo se pueden mejorar estas capacidades, ayudando a avanzar en el desarrollo de mejor tecnología de lectura de documentos en el futuro.
Título: DOCBENCH: A Benchmark for Evaluating LLM-based Document Reading Systems
Resumen: Recently, there has been a growing interest among large language model (LLM) developers in LLM-based document reading systems, which enable users to upload their own documents and pose questions related to the document contents, going beyond simple reading comprehension tasks. Consequently, these systems have been carefully designed to tackle challenges such as file parsing, metadata extraction, multi-modal information understanding and long-context reading. However, no current benchmark exists to evaluate their performance in such scenarios, where a raw file and questions are provided as input, and a corresponding response is expected as output. In this paper, we introduce DocBench, a new benchmark designed to evaluate LLM-based document reading systems. Our benchmark involves a meticulously crafted process, including the recruitment of human annotators and the generation of synthetic questions. It includes 229 real documents and 1,102 questions, spanning across five different domains and four major types of questions. We evaluate both proprietary LLM-based systems accessible via web interfaces or APIs, and a parse-then-read pipeline employing open-source LLMs. Our evaluations reveal noticeable gaps between existing LLM-based document reading systems and human performance, underscoring the challenges of developing proficient systems. To summarize, DocBench aims to establish a standardized benchmark for evaluating LLM-based document reading systems under diverse real-world scenarios, thereby guiding future advancements in this research area.
Autores: Anni Zou, Wenhao Yu, Hongming Zhang, Kaixin Ma, Deng Cai, Zhuosheng Zhang, Hai Zhao, Dong Yu
Última actualización: 2024-07-15 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2407.10701
Fuente PDF: https://arxiv.org/pdf/2407.10701
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.
Enlaces de referencia
- https://github.com/Anni-Zou/DocBench
- https://www.anthropic.com/news/tool-use-ga
- https://codemaker2016.medium.com/talk-with-documents-using-llamaindex-3952c76bd511
- https://chat.openai.com
- https://claude.ai/chats
- https://scholar.google.com/
- https://arxiv.org/
- https://companiesmarketcap.com
- https://www.annualreports.com
- https://www.state.gov/department-reports/
- https://www.govinfo.gov/
- https://www.loc.gov/collections/publications-of-the-law-library-of-congress
- https://static01.nyt.com/images/
- https://pypi.org/project/fitz/
- https://arxiv.org/pdf/1804.06323
- https://www.annualreports.com/HostedData/AnnualReportArchive/b/NYSE_BAC_2020.pdf
- https://www.state.gov/wp-content/uploads/2022/02/S_GWI_FBS_FINAL_Public-Version-1.pdf
- https://tile.loc.gov/storage-services/service/ll/llglrd/2023555925/2023555925.pdf
- https://static01.nyt.com/images/2022/09/30/nytfrontpage/scan.pdf
- https://chatglm.cn/main/doc
- https://kimi.moonshot.cn
- https://tongyi.aliyun.com/qianwen
- https://yiyan.baidu.com
- https://copilot.microsoft.com