¿Puede la IA reemplazar a los humanos en la extracción de conocimiento?

El conocimiento procedural se trata de saber cómo hacer las cosas. Piensa en ello como seguir una receta para hornear un pastel: necesitas conocer los pasos, los ingredientes y cómo combinarlos para obtener un resultado delicioso. En el mundo digital, representar este tipo de conocimiento puede ser complicado. Ahí es donde entran los gráficos de conocimiento procedural (PKGs), actuando como un mapa que muestra los pasos necesarios para completar una tarea de manera clara y organizada.

#¿Qué Son Los Gráficos de Conocimiento?

Imagina que tu cerebro es una red de ideas interconectadas. Los gráficos de conocimiento son como eso, pero en una computadora. Conectan diferentes piezas de información a través de nodos (como puntos en un mapa) y bordes (las líneas que los conectan). Cada nodo puede representar cualquier cosa, desde un paso en una receta hasta las herramientas necesarias para completar una tarea.

Así que, si quieres entender cómo arreglar esa molesta puerta que chirría, un gráfico de conocimiento te mostrará todo lo que necesitas, incluyendo los pasos, las herramientas y hasta cuánto tiempo podría llevar.

#El Desafío del Conocimiento Procedural

Extraer conocimiento de texto presenta un desafío único. Los procedimientos a menudo se describen en lenguaje natural, que puede ser desordenado y ambiguo. La instrucción clara de una persona puede ser un acertijo confuso para otra.

Digamos que estás leyendo un manual de mantenimiento que dice: "Asegúrate de apretar los tornillos." ¿Qué significa "apretar"? ¿Debes usar una llave o un destornillador? ¿Qué tan apretado es "apretado"? Esta vaguedad hace que sea difícil extraer los pasos necesarios para un gráfico de conocimiento.

#El Papel de los Modelos de Lenguaje Grandes

Los Modelos de Lenguaje Grandes (LLMs) son herramientas bastante geniales diseñadas para analizar y generar texto. Son como asistentes muy inteligentes que pueden leer un montón de información rápidamente. Cuando se trata de extraer conocimiento procedural, pueden analizar el texto e identificar pasos y acciones clave, haciendo el proceso de construir un gráfico de conocimiento más eficiente.

Pero, ¿realmente pueden los LLMs reemplazar a los anotadores humanos? ¡Esa es la pregunta del millón!

#Preguntas de Investigación

Para explorar esto, surgen varias preguntas:

• ¿Pueden los LLMs reemplazar exitosamente a los humanos en la creación de un gráfico de conocimiento procedural a partir de texto?
• ¿Cómo perciben las personas la calidad de los resultados producidos por los LLMs?
• ¿Son útiles los resultados derivados de LLMs al seguir los pasos de un procedimiento?
• ¿Piensan los humanos de manera diferente sobre el trabajo producido por LLMs en comparación con otros humanos?

#Probando las Aguas: Experimentos Preliminares

Antes de meterse en los experimentos principales, se realizaron algunas pruebas preliminares. Estos primeros experimentos mostraron una mezcla de resultados. Diferentes personas interpretaron el mismo procedimiento de varias maneras, lo que llevó a desacuerdos sobre cuáles eran realmente los pasos. Suena como un debate familiar sobre cómo hacer la salsa de espagueti perfecta, ¿no?

Los humanos a menudo añadían su toque, cambiando palabras o incluso sugiriendo pasos adicionales que no estaban en el texto original. Mientras tanto, los LLMs tendían a ceñirse al guión, produciendo resultados basados en interpretaciones estrictas.

#El Proceso de Indicación

Diseñar indicaciones para los LLMs es una parte crucial de esta experimentación. Una indicación es solo una manera elegante de decir: "Aquí está lo que quiero que hagas." Por ejemplo, podrías indicarle a un LLM que extraiga pasos de una receta de cocina o de un procedimiento de mantenimiento.

En este caso, se probaron dos indicaciones:

1. Generar un output semi-estructurado describiendo los pasos, acciones, herramientas y cualquier tiempo involucrado.
2. Transformar ese output en un gráfico de conocimiento formal, usando una ontología específica (un marco estructurado para organizar información).

Este enfoque en dos pasos permitió que el LLM se tomara su tiempo y produjera resultados más claros.

#El Entorno Experimental

En el estudio principal, se les dieron a los participantes tareas para evaluar las anotaciones producidas tanto por LLMs como por anotadores humanos. Cada evaluador pudo ver los procedimientos originales y el conocimiento semi-estructurado que se había extraído.

Hubo dos grupos de evaluadores: uno que creía que el output era de un humano y otro que sabía que era de un LLM. Este truco les permitió a los investigadores ver si las personas juzgaban los resultados de manera diferente dependiendo de si pensaban que un humano o una máquina hizo el trabajo.

#Evaluando los Resultados

Una vez que llegaron las evaluaciones, era hora de la parte divertida: ¡analizar los resultados! Los evaluadores humanos calificaron la calidad de los outputs, tanto de los LLM como de los anotadores humanos. Los resultados mostraron que la gente generalmente pensaba que los outputs de los LLM eran decentes, pero eran un poco escépticos sobre cuán útiles eran en situaciones prácticas.

#El Debate Sobre la Calidad y Utilidad

Cuando se trató de calidad, la mayoría de los evaluadores calificaron el conocimiento generado por los LLM como bastante preciso. Sin embargo, cuando se les preguntó sobre su utilidad, las puntuaciones disminuyeron. Parece que, aunque los LLMs hacían un buen trabajo siguiendo instrucciones, la gente no estaba del todo convencida de que los resultados fueran tan prácticos o útiles como deberían.

Los evaluadores también expresaron un Sesgo en contra de los LLMs, quizás debido a ideas preconcebidas sobre lo que las máquinas pueden y no pueden hacer. Es un caso clásico de humanos esperando perfección de sus colegas humanos mientras que tienen expectativas diferentes para las máquinas.

#¿Qué Aprendimos?

Entonces, ¿cuál es la conclusión de toda esta investigación?

1. Los LLMs pueden extraer conocimiento procedural con una buena calidad, a menudo comparable a la de los anotadores humanos.
2. Hay un escepticismo notable sobre cuán útil es el conocimiento extraído en aplicaciones del mundo real.
3. Existe un sesgo; los evaluadores pueden juzgar inconscientemente los outputs de los LLM de manera más dura que los outputs humanos.

#El Camino por Delante

Mirando hacia el futuro, ¡hay mucho por explorar! La investigación espera ampliar la evaluación, abordando procedimientos más complejos, desde tareas industriales hasta quehaceres cotidianos. También hay una posibilidad de fusionar la creatividad humana con la eficiencia de los LLM para mejorar los resultados en general.

¿Qué pasa si alimentamos a los LLMs con conjuntos de entrenamiento más diversos? ¿Pueden aprender a ser más intuitivos? ¿Tienen la oportunidad de evolucionar como los humanos?

#Una Conclusión Curiosa

En un mundo donde la tecnología está evolucionando rápidamente, la exploración de la extracción de conocimiento procedural apenas está empezando. El viaje de mezclar la percepción humana con las capacidades de las máquinas es como preparar una nueva receta de pastel; requiere la mezcla adecuada de ingredientes, paciencia y un toque de humor.

Después de todo, ¿quién no querría un asistente digital que pueda ayudarles a arreglar esa puerta chirriante mientras también les recuerda tomarse un descanso y disfrutar de un pedazo de pastel?