Generación automática de prompts en aprendizaje semisupervisado

Los métodos de aprendizaje basados en prompts en el aprendizaje semi-supervisado (SSL) han ganado atención por su efectividad en varias tareas de comprensión del lenguaje natural (NLU). Sin embargo, crear múltiples prompts y verbalizadores de forma manual requiere un esfuerzo significativo y experiencia, lo que hace difícil implementarlo en diferentes conjuntos de datos. Este artículo presenta dos métodos para automatizar el diseño de prompts y la integración de verbalizadores en entornos de SSL, manteniendo el rendimiento.

#Métodos

#Diseño de Prompt Continuo

Proponemos usar varios Ejemplos de demostración y tokens de prompt aprendibles para crear prompts diversos. Este método reemplaza el diseño manual de prompts con un proceso automatizado, permitiendo flexibilidad en las tareas de SSL.

1. Ejemplos de Demostración: Agregamos ejemplos diversos al prompt para mostrarle al modelo cómo debe responder. Esto ayuda a reducir la brecha entre los ejemplos y las tareas reales.
2. Variación de Tokens Suaves: Al cambiar el número de tokens de prompt, incentivamos al modelo a aprender diferentes aspectos del lenguaje a partir de los datos de entrenamiento.

#Verbalizadores Automáticos

Reemplazamos los verbalizadores manuales por automáticos para agilizar el proceso. Nos enfocamos en:

• Verbalizadores Prototípicos: Estos aprenden de los ejemplos y asignan etiquetas de clase basadas en patrones aprendidos.

#Pipeline de Entrenamiento

El pipeline de entrenamiento integra prompts y verbalizadores automáticos con el marco existente de Entrenamiento que Aprovecha Patrones (PET). Transformamos las secuencias de entrada en un formato adecuado para el entrenamiento, donde el modelo debe predecir tokens enmascarados.

#Procedimiento de Entrenamiento

1. Modelos de Etiquetado: Varios modelos se entrenan usando datos etiquetados para crear etiquetas suaves para una gran cantidad de datos no etiquetados.
2. Clasificador Final: Después de obtener etiquetas suaves, ajustamos un modelo de lenguaje pre-entrenado para clasificación.

#Experimentos

#Conjuntos de Datos

Probamos nuestros métodos en varios conjuntos de datos: AG's News, Yahoo Answers, MNLI, RTE y CB. Cada conjunto de datos sirve para diferentes necesidades de clasificación, que van desde la clasificación de temas hasta la relación textual.

#Modelos Propuestos

1. Demo+Soft Tokens PET: Este modelo combina ejemplos de demostración con tokens continuos.
2. Variar Tokens Suaves PET: Este modelo ajusta el número de tokens continuos para mayor diversidad.

#Resultados

Nuestros métodos superan a los métodos anteriores de última generación que dependían de prompts y verbalizadores manuales. La precisión promedio en las tareas muestra una mejora significativa, demostrando la efectividad de nuestro enfoque automatizado.

#Análisis

#Impacto de SSL

Nuestros resultados experimentales indican beneficios sustanciales de usar métodos de SSL en lugar de enfoques supervisados tradicionales. La introducción de diversidad a través de múltiples prompts mejora el proceso de aprendizaje.

#Importancia de la Diversidad en los Prompts

Analizamos más a fondo el rol de los prompts diversos comparando el rendimiento en diferentes configuraciones. Los resultados indican que una mayor variedad de prompts conduce a mejores resultados.

#Comparaciones de Línea Base

Comparamos nuestros modelos con enfoques manuales y modelos de línea base, demostrando que nuestros métodos automatizados pueden igualar o superar su rendimiento sin requerir esfuerzo humano.

#Trabajo Futuro

En el futuro, buscamos explorar el potencial de congelar parámetros del modelo para un entrenamiento más eficiente y expandir nuestros métodos a otros idiomas más allá del inglés. También planeamos refinar cómo seleccionamos ejemplos de demostración para optimizar el entrenamiento del modelo.

#Conclusión

En resumen, nuestra investigación revela que la generación automatizada de prompts y verbalizadores en SSL puede obtener resultados competitivos mientras reduce significativamente la necesidad de intervención humana en el diseño. Este trabajo allana el camino para marcos de procesamiento del lenguaje natural más escalables y eficientes.

#Referencias

(Las referencias se incluyeron originalmente, pero no se mostrarán aquí para mantener la simplicidad.)