¿Qué significa "WSC+"?
Tabla de contenidos
WSC+ es un nuevo conjunto de datos creado para mejorar cómo las máquinas entienden y generan preguntas. Se basa en una prueba existente llamada Winograd Schema Challenge, que verifica qué tan bien pueden las máquinas responder preguntas complicadas que implican entender el lenguaje.
¿Cómo Funciona WSC+?
Para mejorar WSC+, se usó un nuevo método llamado Tree-of-Experts. Este método ayuda a crear un número mayor de preguntas válidas. De hecho, WSC+ tiene muchas más preguntas válidas que los intentos anteriores. Incluye más de 3,000 oraciones generadas por una máquina.
¿Qué Hace que WSC+ Sea Diferente?
WSC+ se destaca porque añade nuevos tipos de preguntas difíciles que pueden enfrentar las máquinas, incluyendo algunas que son ambiguas u ofensivas. Esto ayuda a los investigadores a ver cuán seguras están las máquinas en sus respuestas y dónde podrían cometer errores o mostrar sesgo.
Resultados y Perspectivas
Cuando se probó la mejor máquina, GPT-4, en el conjunto de datos WSC+, acertó el 68.7% de las preguntas. Esto es bastante más bajo que el estándar humano del 95.1%, mostrando que aunque las máquinas están mejorando, todavía les falta un buen camino por recorrer.