Dándole sentido a los modelos de lenguaje grande: La importancia de la explicabilidad

Los Modelos de Lenguaje Grande, comúnmente llamados LLMs, son herramientas que ayudan a generar texto similar al humano según la entrada que reciben. Estos modelos se han vuelto bastante populares por su capacidad para mantener conversaciones, escribir artículos y mucho más. Sin embargo, como con cualquier tecnología, la gente a menudo se pregunta cuán confiables son realmente, especialmente en campos importantes como el derecho, la salud y las finanzas. La confianza en estos modelos es crucial, y ahí es donde entra el tema de la Explicabilidad.

#¿Qué es la Explicabilidad?

La explicabilidad se refiere a qué tan claro puede expresar un modelo su razonamiento. Imagina preguntar a un amigo por qué tomó una decisión específica, y te lo explica de una manera que puedes entender fácilmente. De la misma manera, queremos que los LLMs expliquen sus decisiones para que todos-expertos y no expertos-puedan entender.

#¿Por qué es Importante la Explicabilidad?

Cuando se trata de áreas críticas como el derecho y la salud, la gente necesita confiar en que estos modelos están haciendo lo correcto. Por ejemplo, si se usa un modelo de lenguaje para ayudar a identificar leyes en una situación legal, un abogado debe sentirse seguro de que el razonamiento del modelo es sólido. De igual manera, si un modelo analiza redes sociales para predecir problemas de salud, los proveedores de salud deben confiar en sus conclusiones para prevenir consecuencias graves.

#El Desafío de la Explicabilidad en los LLMs

Aunque los LLMs pueden generar resultados impresionantes, son complejos. Su funcionamiento interno no siempre es fácil de descifrar, lo que dificulta explicar cómo llegan a sus conclusiones. Es como intentar seguir una receta donde los ingredientes y pasos están en un código secreto. Esta falta de claridad puede generar escepticismo al implementar estos modelos.

#El Concepto de ReQuesting

Para abordar este problema, se ha introducido una nueva idea llamada "ReQuesting". Este enfoque implica hacer preguntas repetidas para asegurar que las explicaciones proporcionadas por los LLMs no solo sean claras, sino también confiables. La intención detrás de ReQuesting es refinar y aclarar el funcionamiento de estos modelos, buscando una comprensión más transparente.

#Los Principales Dominios de Aplicación

El concepto de ReQuesting se explora en tres áreas clave: derecho, salud y finanzas. Cada uno de estos dominios tiene su propia importancia y complejidad, y la necesidad de LLMs confiables es especialmente alta aquí.

#Derecho

En derecho, los LLMs pueden ayudar a predecir estatutos relevantes a partir de una descripción de caso dada. Esto puede implicar analizar textos de casos legales y sugerir cuáles leyes aplican. Sin embargo, para que los abogados se sientan seguros al usar estos modelos, necesitan entender cómo llegó el modelo a sus conclusiones. Si un modelo sugiere una ley particular sin una explicación clara, es comparable a un abogado citando un caso que no puede explicar.

#Salud

En salud, los LLMs pueden analizar publicaciones en redes sociales para detectar signos de problemas de salud mental. Para este uso, es vital que las herramientas sean precisas, ya que predicciones incorrectas pueden tener consecuencias reales. Así como un médico no querría diagnosticar erróneamente a un paciente, los profesionales de la salud necesitan claridad sobre cómo el modelo llega a sus predicciones.

#Finanzas

En finanzas, los LLMs se usan a menudo para evaluar movimientos de acciones basados en el sentimiento en redes sociales. Muchos inversionistas miran la cháchara en línea antes de tomar decisiones. Aunque los LLMs pueden procesar grandes cantidades de texto y hacer predicciones, sin un razonamiento claro, los inversionistas pueden estar arriesgando a ciegas-y nadie quiere tomar riesgos financieros sin alguna base sólida.

#Las Preguntas de Investigación

Para guiar la exploración de ReQuesting, se plantearon varias preguntas de investigación:

1. ¿Pueden los LLMs generar una explicación clara y confiable sobre cómo funcionan?
2. ¿Cómo podemos medir la Confiabilidad de estas explicaciones?
3. ¿Se alinean las explicaciones proporcionadas por los LLMs con su funcionamiento interno?

#Midiendo la Confiabilidad

Para determinar si una explicación es confiable, la reproducibilidad es esencial. Esto significa que si le preguntas al modelo la misma pregunta varias veces, deberías obtener respuestas consistentes. Si la explicación de un modelo cambia drásticamente de una instancia a otra, eso genera dudas sobre su fiabilidad.

#La Metodología

#El Sistema de Tres Prompts

Se diseñó un sistema de tres tipos de prompts:

1. Prompt de Tarea: Este es el prompt inicial que describe la tarea para el LLM.
2. Prompt de ReQuest: Después de que el LLM completa la tarea, este prompt le pide al modelo que explique cómo llegó a su decisión.
3. Prompt de Verificación de Robustez: Este prompt pone a prueba el algoritmo generado por el LLM para ver si puede producir los mismos resultados de manera confiable.

#Ejemplos de Estos Prompts

En derecho, podrías pedir a un LLM que determine qué leyes aplican a un escenario específico. Luego, usando un prompt de ReQuest, le pides que explique por qué eligió esas leyes.

En salud, podrías impulsar al modelo a clasificar publicaciones en redes sociales relacionadas con la salud mental y luego solicitar una explicación para sus clasificaciones.

En finanzas, pregúntale al LLM que prediga el comportamiento de las acciones basado en el sentimiento en redes sociales y luego pídele que justifique sus predicciones.

#Reproducibilidad en Acción

Para evaluar qué tan bien se desempeñaron los LLMs, se calculó un ratio de reproducción de rendimiento (PerRR). Esta medida analiza qué tan similarmente se realizaron las tareas a través de diferentes prompts. Además, se calculó un ratio de reproducción de predicción (PreRR) para entender qué tan de cerca coincidieron las predicciones a través de diferentes ejecuciones de la misma tarea.

#Resultados y Perspectivas

Al aplicar ReQuesting en derecho, salud y finanzas, los resultados mostraron un nivel decente de consistencia. Por ejemplo, en derecho, el rendimiento fue fuerte, lo que indica que los LLMs podrían replicar su razonamiento de manera confiable. Mientras tanto, las tareas de salud fueron un poco más variables, ya que los modelos a veces lucharon con clasificaciones matizadas de salud mental.

#Tareas Legales

Para la predicción de estatutos, ambos modelos mostraron puntajes prometedores de PerRR. Los modelos pudieron identificar leyes aplicables a escenarios dados con un grado razonable de precisión. Esto sugiere que pueden servir como herramientas valiosas para los profesionales legales que buscan puntos de referencia.

#Tareas de Salud

Los insights fueron menos consistentes en salud. Aunque los LLMs pudieron predecir condiciones de salud mental basadas en texto, hubo algunas discrepancias en sus respuestas. Esta inconsistencia implica que, si bien los LLMs pueden ayudar en salud, sus salidas deben ser tratadas con cautela.

#Tareas Financieras

En finanzas, los modelos se desempeñaron bien al predecir movimientos de acciones. El alto puntaje de PerRR sugiere que estos modelos pueden generar algoritmos confiables para inversionistas que buscan tendencias del mercado basadas en el sentimiento en línea.

#Pensamientos Finales

ReQuesting ha mostrado promesas al ayudar a los LLMs a explicar su razonamiento de manera más clara, lo cual es vital en dominios críticos. A medida que estos modelos continúan evolucionando, mejorar su explicabilidad y asegurar su confiabilidad será crucial.

Imagina un mundo donde un abogado se sienta seguro utilizando las sugerencias de un LLM en una sala de juzgado, donde un médico confía en el análisis de un LLM de publicaciones en redes sociales, y los inversionistas se sienten seguros tomando decisiones basadas en las predicciones de un modelo. Con la investigación y desarrollo en curso, ese futuro podría no estar muy lejos.

Mientras tanto, podemos disfrutar de la irónica humorística de pedir a una máquina que se explique a sí misma, mientras asiente, pretendiendo entender nuestra necesidad de claridad, igual que nosotros. Como dicen, “¡Incluso las máquinas necesitan aprender a hablar humano!”