Evaluando la seguridad de los modelos de lenguaje grandes contra instrucciones dañinas

Los Modelos de Lenguaje Grande (LLMs) se han vuelto herramientas importantes que pueden seguir instrucciones dadas en lenguaje natural. Se utilizan mucho en el servicio al cliente y otras aplicaciones. Sin embargo, a medida que estos modelos mejoran en seguir instrucciones, crecen las preocupaciones sobre los riesgos que vienen con ellos. Un problema principal es el potencial de que atacantes inyecten instrucciones dañinas en la entrada del modelo, lo que puede cambiar las instrucciones originales y resultar en acciones o contenidos no deseados.

Para asegurar que los LLMs sean seguros para su uso en la vida real, es esencial evaluar qué tan bien pueden diferenciar buenas instrucciones de malas. En este artículo, presentamos un nuevo punto de referencia para evaluar qué tan robustos son los LLMs contra instrucciones dañinas que se añaden secretamente a sus indicaciones. El objetivo es medir cuánto pueden influir estas instrucciones dañinas en los modelos y ver qué tan bien los LLMs pueden distinguirlas de las instrucciones originales del usuario.

#Por Qué Es Importante

Con el aumento del uso de LLMs en varias aplicaciones, es crucial asegurar su seguridad. Por ejemplo, muchos chatbots y asistentes virtuales dependen de estos modelos para proporcionar información o responder preguntas. Si estos modelos no pueden detectar con precisión instrucciones dañinas, existe el riesgo de que puedan revelar información sensible o realizar otras acciones que podrían dañar a los usuarios.

Para probar la Robustez de los LLMs, realizamos experimentos con algunos de los modelos más recientes y encontramos debilidades notables. Estos hallazgos resaltan la necesidad de más investigación sobre cómo mejorar los LLMs para que comprendan mejor las instrucciones en lugar de simplemente repetir lo que se les da.

#Lo Que Hicimos

Nos enfocamos en crear un punto de referencia que evalúe sistemáticamente los LLMs contra instrucciones dañinas. La situación que examinamos es similar a lo que enfrentan los agentes conversacionales comerciales, donde necesitan responder preguntas de los usuarios basándose en información recuperada de internet. Esta configuración presenta una oportunidad para que los atacantes inyecten instrucciones dañinas en el contenido encontrado en línea, lo que podría desviar al LLM.

Para crear nuestro punto de referencia, utilizamos dos conjuntos de datos de preguntas y respuestas, donde añadimos instrucciones dañinas al texto que los LLMs usarían para generar respuestas. En lugar de centrarnos en instrucciones que lleven directamente a acciones dañinas, miramos dos tipos de instrucciones dañinas benignas:

1. Instrucciones aleatorias que no tienen relación con la pregunta original.
2. Preguntas relevantes que podrían responderse usando la misma información pero son diferentes de la pregunta original del usuario.

Este enfoque nos permite evaluar la capacidad de los LLMs para entender el contexto y distinguir entre las instrucciones originales del usuario y las instrucciones dañinas adicionales.

#Marco de Evaluación

La evaluación se centra en dos áreas clave:

1. Influencia en el Rendimiento: Esto mide cuánto afectan las respuestas de los LLMs las instrucciones dañinas.
2. Discriminación de Instrucciones: Esto verifica si los LLMs siguen las instrucciones originales del usuario en lugar de dejarse llevar por las dañinas.

Elegimos una tarea de preguntas y respuestas como nuestro campo de prueba, particularmente mirando la pregunta-respuesta extractiva, donde las respuestas se seleccionan de un contexto proporcionado. Esto refleja situaciones del mundo real donde los LLMs responden preguntas basadas en información recuperada de fuentes en línea.

#Nuestros Hallazgos

En nuestras evaluaciones, analizamos varios LLMs de vanguardia, incluyendo modelos grandes disponibles comercialmente y modelos más pequeños de código abierto.

#Diferencias en Robustez

Observamos que había diferencias significativas en cómo los modelos podían manejar instrucciones dañinas. Algunos modelos como ChatGPT y Claude mostraron mejor robustez en comparación con otros. En contraste, los modelos más pequeños, incluidos algunos que están ajustados para seguir instrucciones, eran mucho menos robustos y luchaban para diferenciar entre las instrucciones originales y las dañinas inyectadas. Esto indica un área de preocupación importante sobre la efectividad de los métodos de entrenamiento utilizados para estos modelos más pequeños.

#Vulnerabilidad de Modelos Más Pequeños

Los modelos ajustados para seguir instrucciones no tuvieron el rendimiento que esperábamos. A pesar de lograr una precisión general decente, eran muy susceptibles a instrucciones dañinas. Sus resultados mostraron que a menudo no reconocían las instrucciones principales del usuario y, en cambio, seguían más de cerca las instrucciones inyectadas. Esto plantea preguntas sobre la efectividad de los métodos actuales de ajuste de instrucciones y enfatiza la necesidad de mejoras que permitan a los modelos equilibrar el seguimiento de instrucciones mientras también entienden la verdadera intención del usuario.

#El Desafío de Instrucciones Relevantes al Contexto

Cuando comparamos la capacidad de los modelos para manejar diferentes tipos de instrucciones dañinas, encontramos que reconocer instrucciones dañinas relevantes al contexto era mucho más difícil que lidiar con instrucciones aleatorias que no tenían relación con las indicaciones. Esto sugiere que los modelos podrían estar confiando demasiado en el contexto sin verdaderamente entenderlo, lo que permite una posible explotación a través de diseños de instrucciones inteligentes.

#Posición de Inyección

También probamos dónde se colocaban las instrucciones dañinas dentro del contexto. Descubrimos que inyectar instrucciones dañinas al final del texto era lo más desafiante para los modelos para detectar. Esto demuestra que algunos modelos pueden tener dificultades para comprender completamente toda la indicación y, en cambio, reaccionan basándose en predecir la próxima palabra más probable.

#El Impacto de Frases Específicas

En nuestra investigación, observamos cómo ciertas frases, como "ignora la indicación anterior", pueden afectar el rendimiento del modelo. Esta frase puede manipular a los modelos para que ignoren completamente el contexto, haciéndolos más vulnerables a instrucciones dañinas. Cuando se incluyó esta frase, modelos robustos como ChatGPT y Claude experimentaron una notable disminución en su rendimiento, indicando que aún pueden ser engañados bajo ciertas condiciones.

#Evaluaciones Humanas

Para complementar nuestras evaluaciones automatizadas, realizamos evaluaciones humanas para ver qué tan bien estaban respondiendo los modelos a los diferentes tipos de instrucciones dañinas. Las evaluaciones humanas revelaron que, mientras algunos modelos como ChatGPT y Claude se mantuvieron mayormente en la línea al adherirse a las preguntas de los usuarios, otros modelos ajustados para seguir instrucciones fueron influenciados engañosamente por las instrucciones dañinas.

#Conclusión

En resumen, nuestro trabajo introdujo un nuevo punto de referencia para evaluar qué tan robustos son los LLMs que siguen instrucciones contra inyecciones de instrucciones dañinas. A través de pruebas exhaustivas, identificamos serias limitaciones en muchos modelos, que luchan por mantener su rendimiento cuando se enfrentan a indicaciones adversariales.

Los hallazgos de nuestros experimentos destacan la urgente necesidad de medidas de seguridad más fuertes y mejores técnicas de entrenamiento para mejorar cómo los LLMs entienden y responden a las indicaciones. A medida que los LLMs se integran más en aplicaciones que requieren alta confianza, como el servicio al cliente y la recuperación de información, entender sus vulnerabilidades es esencial para garantizar su fiabilidad y seguridad en el uso diario. La investigación futura debe centrarse en desarrollar métodos mejorados que ayuden a los LLMs a discernir entre instrucciones genuinas y dañinas, mejorando en última instancia su rendimiento y confiabilidad general en entornos del mundo real.