Mejorando las Respuestas de IA en Contextos Legales con HyPA-RAG

Los Modelos de Lenguaje Grande (LLMs) como GPT y sistemas similares han demostrado que pueden generar texto similar al humano y responder preguntas de manera efectiva. Sin embargo, cuando se trata de áreas específicas como la ley y la política, estos modelos enfrentan desafíos. A menudo utilizan información desactualizada, generan datos falsos y tienen problemas con el razonamiento complejo que se necesita en estos campos. Los sistemas de Generación Aumentada por Recuperación (RAG) intentan mejorar la precisión de las respuestas usando información externa. Aun así, tienen su propio conjunto de problemas, como recuperaciones incorrectas y altos costos.

En este contexto, presentamos un nuevo sistema llamado RAG Híbrido Adaptativo de Parámetros (HyPA-RAG) diseñado para mejorar las respuestas de la IA en campos legales y de políticas, particularmente con la Ley Local 144 (LL144) de la ciudad de Nueva York. Este sistema adapta parámetros según la complejidad de las consultas de los usuarios, combina diferentes métodos de recuperación y usa un Marco de Evaluación específico para mejorar la precisión de las respuestas.

#Antecedentes sobre Modelos de Lenguaje Grande

Recientemente, el crecimiento significativo de los LLMs ha cambiado la forma en que la IA interactúa con el texto. Modelos como GPT-4 de OpenAI y Gemini de Google han demostrado que pueden manejar diversas tareas, incluyendo la creación de texto y la respuesta a preguntas. Estos modelos están entrenados con vastas cantidades de datos, lo que les da conocimiento sobre muchos temas. Sin embargo, tienen limitaciones cuando se aplican a áreas especializadas como la ley porque su conocimiento puede volverse obsoleto rápidamente. Además, estos modelos a veces generan lo que se conoce como "alucinaciones". Esto significa que proporcionan respuestas que suenan sólidas pero son incorrectas. Esto plantea serios riesgos, especialmente cuando se utilizan en entornos legales donde la información precisa es crucial.

#Desafíos con la Generación Aumentada por Recuperación

Los sistemas RAG buscan superar las deficiencias de los LLMs incorporando información de fuentes externas. Aunque pueden proporcionar respuestas más precisas, los sistemas RAG también enfrentan desafíos. Pueden pasar por alto documentos importantes, no utilizar documentos recuperados de manera efectiva o tener dificultades para encontrar la información correcta debido al ruido en los datos. Además, las técnicas utilizadas para recuperar y generar información a menudo aumentan tanto los costos como la complejidad del proceso.

#Introduciendo HyPA-RAG

Para abordar estos desafíos, HyPA-RAG combina tres enfoques principales:

1. Selección Adaptativa de Parámetros: Este componente utiliza un clasificador para determinar cuán compleja es la consulta de un usuario y ajusta los parámetros del sistema de acuerdo con eso. Esto ayuda a reducir el uso innecesario de recursos.
2. Sistema de Recuperación Híbrido: HyPA-RAG mezcla diferentes estrategias de búsqueda, como métodos de recuperación densos y escasos, junto con gráficos de conocimiento para mejorar cómo encuentra información precisa.
3. Marco de Evaluación: Incluye un conjunto de datos y métricas especialmente diseñados para medir el rendimiento, asegurando pruebas y evaluaciones exhaustivas.

HyPA-RAG fue diseñado específicamente para el ámbito de políticas de IA, utilizando la LL144 como ejemplo principal para mostrar su efectividad.

#Análisis de la Ley Local 144

LL144, que regula las herramientas de decisión automatizada de empleo, demuestra lo complejos que pueden ser los textos legales. Combina definiciones detalladas y pautas procedimentales con métricas numéricas para el cumplimiento. Esta mezcla presenta dificultades únicas para los sistemas de IA, que a menudo luchan cuando se enfrentan a requisitos legales estrictos. Además, las leyes a menudo cambian, lo que dificulta usar datos de entrenamiento estáticos para respaldar sistemas de IA.

#Proceso de Evaluación

Para evaluar HyPA-RAG, generamos preguntas específicas que debe responder correctamente. Estas preguntas están adaptadas a los campos legales y de políticas, y creamos métricas para evaluar qué tan bien funciona el sistema. Para mantener la consistencia, la temperatura para generar respuestas se fijó.

#Creación del Conjunto de Datos

Crear un conjunto de evaluación preciso generalmente toma mucho tiempo y experiencia. Sin embargo, usar LLMs como GPT-3.5-Turbo puede agilizar este proceso. Desarrollamos una variedad de tipos de preguntas, incluyendo preguntas simples, complejas y situacionales. Además, creamos preguntas vagas y comparativas para probar la adaptabilidad del sistema.

#Medición del Rendimiento

Medimos el rendimiento utilizando varias métricas, como fidelidad, relevancia de respuestas, precisión de contexto y recuerdo de contexto. Por ejemplo, la fidelidad comprueba qué tan bien la respuesta generada se alinea con los datos en los que se basa, mientras que el recuerdo de contexto evalúa qué tan bien el sistema recupera la información de fondo necesaria.

#Métodos de Fragmentación

Para procesar la información de manera efectiva, probamos tres métodos de fragmentación: a nivel de oración, semántica y basada en patrones. El objetivo era encontrar la mejor forma de descomponer textos legales en partes manejables mientras se mantiene su significado. Los resultados mostraron que la fragmentación basada en patrones tuvo el mejor rendimiento en términos de recuerdo de contexto y corrección, mientras que la fragmentación a nivel de oración fue fuerte en precisión.

#Clasificador de Complejidad de Consultas

Para adaptar parámetros de manera dinámica, desarrollamos un clasificador que categoriza las consultas de los usuarios según su complejidad. Esta clasificación permite al sistema ajustar su método de recuperación y recursos de acuerdo con las necesidades de la consulta.

#Resultados y Discusión

Nuestros hallazgos muestran que los métodos adaptativos en HyPA-RAG generalmente funcionan mejor que los métodos fijos, especialmente al mejorar la relevancia y corrección de las respuestas. La combinación de parámetros adaptativos, reescritura de consultas y reordenación potencia la capacidad del sistema para proporcionar respuestas precisas y relevantes. Sin embargo, agregar un gráfico de conocimiento a veces complica las respuestas sin mejorar la precisión.

#Limitaciones y Direcciones Futuras

Aunque hicimos avances significativos, hay algunas limitaciones que vale la pena mencionar. Por ejemplo, nuestras evaluaciones se basaron en un único experto, lo que puede introducir sesgo. Nuestro objetivo es recopilar más evaluaciones humanas para mejorar la fiabilidad. Además, la forma en que construimos el gráfico de conocimiento podría mejorarse al incorporar nuevos métodos para un recuperación de contexto más precisa.

En el futuro, nos centraremos en integrar comentarios en nuestro bucle de evaluación y considerar métodos que optimicen aún más el modelo. También hay margen para mejorar nuestro sistema de reescritura de consultas para mejorar la calidad de las respuestas.

#Consideraciones Éticas

Usar HyPA-RAG en contextos legales plantea importantes preguntas éticas. La información incorrecta podría tener consecuencias graves en entornos legales, por lo que es esencial una evaluación cuidadosa. La transparencia es vital, y nuestro objetivo es proporcionar detalles completos sobre nuestros métodos y evaluaciones para fomentar la confianza en nuestros hallazgos. Además, somos conscientes del impacto ambiental de las tecnologías de IA y nos esforzamos por utilizar estrategias adaptativas que reduzcan el uso de energía.

#Conclusión

HyPA-RAG representa un enfoque prometedor que adapta la IA para funcionar de manera efectiva en contextos legales y de política complejos. Al adaptarse a las necesidades del usuario y aprovechar diferentes métodos de recuperación de datos, nuestro sistema busca mejorar la fiabilidad de la IA en estas áreas de alto riesgo. Nuestro trabajo continuo se centrará en refinar estos métodos y abordar las limitaciones identificadas para asegurar un mejor rendimiento en el futuro.