Un Nuevo Sistema para la Creación de Esquemas de Eventos

La inducción de esquemas es una forma de crear un gráfico que muestra cómo pasan los eventos en una situación particular. Los métodos tradicionales se basan mayormente en recopilar información de fuentes textuales, pero a menudo carecen de la participación cuidadosa de humanos. En este enfoque, presentamos un sistema que involucra la entrada humana en etapas clave para mejorar la calidad del esquema que se está creando. Este sistema utiliza modelos de lenguaje avanzados para ayudar a generar componentes útiles.

Nuestro sistema consta de varios pasos que trabajan juntos para formar un esquema completo. Estos pasos incluyen generar pasos para el escenario, crear nodos más simples a partir de esos pasos, construir un gráfico para conectar los nodos y, finalmente, relacionar esos nodos con una ontología reconocida. Al comparar nuestro enfoque con métodos más antiguos, demostramos que nuestro sistema puede adaptarse más fácilmente a nuevas situaciones, mientras minimiza la cantidad de esfuerzo humano necesario para cada tarea.

Recientemente, ha aumentado el interés en entender eventos en lenguaje natural. Este enfoque ha llevado a un mejor rendimiento en varias tareas que implican el reconocimiento de eventos, como responder preguntas, resumir texto e identificar desinformación. En el núcleo de este tipo de comprensión están los esquemas de eventos, que resumen cómo se desarrollan generalmente eventos complicados. Este concepto ha evolucionado con el tiempo, pasando de secuencias simples de acciones a representaciones gráficas más complejas.

Por ejemplo, al considerar un "ciberataque", el esquema podría desglosarse en partes como "ganar acceso", "controlar el sistema", "exfiltrar archivos" y "modificar registros del sistema". Entender las conexiones entre estas acciones es crucial. Por ejemplo, ganar acceso debe suceder antes de modificar registros, ya que el acceso es un requisito previo para esa acción.

Nuestro sistema de esquemas incluye cuatro etapas principales: Generación de Pasos, Extracción de Nodos, Construcción de Gráficos y Vinculación de Nodos. Cada etapa trabaja en conjunto para crear un esquema integral para el escenario en cuestión. La participación humana es clave porque ayuda a identificar y corregir errores generados por las máquinas.

El objetivo de nuestro enfoque es crear esquemas que sean precisos y confiables. La entrada humana ayuda a filtrar salidas incorrectas o incompletas que una máquina podría producir. Esta verificación es especialmente importante en escenarios de alto riesgo, como emergencias de salud pública, donde la calidad de la información puede tener un gran impacto.

En nuestro diagrama de flujo, la primera etapa es la Generación de Pasos. Aquí creamos pasos que describen el escenario utilizando indicaciones. La siguiente etapa es la Extracción de Nodos, donde simplificamos los pasos generados en pares sujeto-verbo-objeto que forman la base para nuestros nodos. Después de eso, se lleva a cabo la Construcción de Gráficos, que conecta los nodos según las relaciones entre ellos. La etapa final, la Vinculación de Nodos, empareja estos nodos con una ontología reconocida, como Wikidata.

A lo largo de este proceso, cada etapa se basa en grandes modelos de lenguaje para proporcionar sugerencias. Los usuarios pueden interactuar con el sistema, revisando y modificando las salidas generadas por el modelo. Esta interacción crea una asociación entre humanos y máquinas, llevando a esquemas más precisos y mejores.

La flexibilidad de nuestro sistema permite a los usuarios comenzar desde cero o editar salidas existentes. Además, se pueden cambiar los modelos de lenguaje por diferentes versiones preentrenadas, mejorando la adaptabilidad. La interfaz fácil de usar fomenta modificaciones sencillas durante cada etapa, haciéndolo más efectivo en comparación con métodos más antiguos.

Al enfocarnos en la generación de pasos, usamos indicaciones para crear pasos detallados para el escenario. Por ejemplo, si el escenario es sobre un brote de enfermedad, las indicaciones pueden iniciar una serie de eventos que describen lo que sucede durante esa situación. En la etapa de extracción de nodos, seleccionamos las acciones principales y sus sujetos y objetos para formar los nodos que se conectarán en la fase de construcción de gráficos.

Durante la construcción de gráficos, se identifican y establecen relaciones entre los nodos, visualizando cómo encajan los eventos. La interfaz permite a los usuarios modificar estas estructuras fácilmente: agregando, eliminando o alterando nodos y sus conexiones según sea necesario.

Finalmente, en la vinculación de nodos, aseguramos que los nodos estén relacionados con conceptos existentes en una ontología estructurada. Este paso es esencial para garantizar que cada nodo capture con precisión el significado del evento que representa. Al hacer esto, creamos esquemas que pueden ser referenciados en tareas futuras, asegurando consistencia y precisión.

A través de estudios de caso, hemos demostrado cómo funciona nuestro sistema en la práctica. Por ejemplo, al generar un esquema para un ciberataque, producimos pasos y posteriormente generamos nodos y construimos un gráfico basado en esos nodos. Al final, vinculamos los nodos a una ontología reconocida, asegurando que representen con precisión los conceptos involucrados.

Para evaluar nuestro enfoque, recopilamos comentarios de usuarios que tienen experiencia en procesamiento de lenguaje natural. Pudieron evaluar la precisión de los pasos y nodos generados, así como la facilidad con la que podían editar y modificar las salidas. Los resultados mostraron que el enfoque humano-en-el-bucle mejora significativamente la calidad de los esquemas creados.

Aunque nuestro sistema ha mostrado resultados impresionantes, todavía hay áreas para mejorar. Las indicaciones actuales se basan en ejemplos limitados, y refinar esas indicaciones con más datos curados por humanos puede llevar a mejores resultados. Además, los comentarios de los usuarios sugieren que puede haber valor en incorporar una representación visual del esquema en varias etapas para ayudar en la comprensión.

Además, deben abordarse consideraciones éticas. Los modelos de lenguaje actuales pueden reflejar sesgos encontrados en sus datos de entrenamiento. Esto puede afectar los eventos y escenarios que producen. Nuestro trabajo busca mitigar estos sesgos y asegurar una amplia representación de diferentes culturas y contextos en futuros esquemas.

En resumen, nuestro sistema proporciona un modelo colaborativo para la creación de esquemas que aprovecha tanto técnicas avanzadas de aprendizaje automático como la entrada humana. Al involucrar a los usuarios en cada etapa, buscamos producir esquemas de eventos de alta calidad y confiables que puedan ser utilizados en varias aplicaciones. Los desarrollos futuros continuarán mejorando este enfoque, haciéndolo aún más efectivo en el futuro.