Avanzando en la seguridad en la ingeniería de software con LLMs

La IA generativa está ganando importancia en la ingeniería de software, especialmente en la ingeniería de seguridad. Esta tecnología ayuda a asegurar que el software no cause daño a las personas. Como resultado, hay una alta demanda de calidad en las aplicaciones de IA generativa. Simplemente usar modelos de lenguaje grandes (LLMs) no es suficiente para satisfacer estas necesidades de calidad. Es esencial crear métodos más avanzados que puedan abordar las complejidades y problemas de seguridad presentes en los sistemas de software. Al final, los humanos deben comprender y ser responsables de las sugerencias hechas por la IA generativa para garantizar la seguridad de estos sistemas.

#La Necesidad de Enfoques Avanzados

Con el auge de la IA generativa, particularmente los LLMs, hay un creciente interés en usar estos modelos para tareas que involucran datos estructurados, como los grafos de conocimiento. Una aplicación común es usar LLMs para análisis relacionados con la seguridad, como entender cómo pueden propagarse fallos a través de un sistema y evaluar los riesgos asociados. Ha habido esfuerzos para aplicar LLMs en análisis formales de peligros, pero estos han tenido éxito limitado.

Uno de los grandes desafíos con los LLMs es la capacidad de convertir información verbal en datos estructurados y viceversa. Dado que los LLMs generan texto basado en patrones estadísticos, pueden no adherirse a estructuras lógicas, lo que puede llevar a la pérdida de información importante. Para abordar este desafío, hay varias estrategias:

1. Ingeniería de Prompts: Esto implica diseñar prompts que animen al LLM a producir formatos específicos o seguir ciertas reglas estructurales.
2. Razonamiento Heurístico: Esto se centra en guiar al LLM para resolver un problema paso a paso, siguiendo instrucciones auto-creadas o predefinidas.
3. Generación Aumentada por Recuperación (RAG): Este método utiliza fuentes de conocimiento externas, incluidas herramientas no AI, para apoyar la salida del LLM.
4. Ajuste de Modelos: Este enfoque vuelve a entrenar modelos para minimizar la pérdida de información estructurada.

#El Marco para el Codesarrollo de Seguridad

El marco permite que un usuario interactúe con el agente LLM a través de un prompt de chat y reciba una respuesta textual. El LLM se conecta a una base de datos que contiene una descripción del sistema, conceptos de seguridad y herramientas de análisis. El Modelo del sistema puede alterarse, y estos cambios se reflejarán de vuelta al usuario.

El agente LLM utiliza una serie de pasos de toma de decisiones para clasificar el tipo de tarea que necesita realizar. Formula la tarea para la Recuperación de información, buscando conocimiento de una base de datos especializada o utilizando herramientas específicas para realizar cálculos.

Este artículo presenta un enfoque guiado por conceptos, que mejora las habilidades de los LLMs en análisis y manipulación de grafos, especialmente en desarrollos críticos de seguridad. Al combinar las capacidades de los LLM con rigurosos estándares de ingeniería de seguridad, comenzamos con un modelo de sistema estructurado y creamos una representación fácil de entender para el LLM.

#Modelos del Sistema y su Representación

El modelo del sistema incluye la arquitectura del sistema, detallando los componentes y sus interacciones, junto con información esencial de seguridad para analizar la propagación de fallos. Para alinearse con los estándares industriales, este modelo se crea utilizando herramientas específicas y se exporta en un formato reconocido.

Los elementos de este modelo se pueden transferir directamente a un formato de grafo genérico, incluidos nodos y bordes. Aunque los LLMs pueden interpretar datos estructurados, a menudo funcionan mejor con información que se asemeje al lenguaje natural. Por lo tanto, creamos una estructura simplificada que presenta la información del sistema de forma clara:

• Nodo A -> Nodo B
• Nodo A: Atributo 1

Este formato ayuda al LLM a entender el sistema y sus componentes. Cada nodo representa un posible punto de fallo, y usamos constructos lógicos específicos para expresar cómo los fallos pueden propagarse a través del sistema.

#El Papel de los LLMs

En el corazón de nuestro enfoque, utilizamos un modelo de lenguaje grande para inferencias. Si bien actualmente usamos un modelo específico, creemos que modelos más pequeños también podrían servir a este propósito en trabajos futuros.

#Diseñando el Agente LLM

Para usar efectivamente los LLMs, empleamos envolturas funcionales conocidas como agentes. Estos agentes pueden crear procesos de pensamiento iterativos o conectarse automáticamente a fuentes externas de información. Creamos un agente personalizado que gestiona el proceso de toma de decisiones, asegurando que las tareas se identifiquen correctamente y que la información se recupere apropiadamente.

Para guiar el progreso del agente, dividimos el proceso en pasos más pequeños y manejables. Esto significa que cada entrada está asociada con la mejor coincidencia entre los conceptos predefinidos. Al utilizar unos pocos ejemplos para el entrenamiento, el agente puede mejorar sus respuestas y toma de decisiones.

La etapa final implica usar la tarea identificada para refinar prompts específicos y llamar a las herramientas necesarias para esa tarea. El agente luego transmite los resultados de vuelta al usuario. Este método aborda algunos desafíos inherentes al uso de IA generativa para tareas estructuradas.

#Recuperación de Información y Herramientas

Nuestro agente recupera información de una base de conocimientos o la genera utilizando funciones definidas. Algunas de las funciones incluyen:

• Obtener la representación del sistema
• Documentación sobre prácticas de seguridad
• Calcular cómo pueden propagarse los fallos basada en compuertas lógicas
• Encontrar caminos críticos en el sistema
• Identificar puntos únicos de fallo
• Replica nodos o bordes en el modelo del sistema

La forma en que se utilizan estas herramientas está cuidadosamente definida de acuerdo con el tipo de tarea identificada.

#Probando el Enfoque

Probamos este modelo usando un ejemplo simplificado de un sistema de conducción automatizada. Los nodos representan diferentes componentes, y los atributos indican sus propiedades de compuertas de fallo. Por ejemplo, si dos de las tres entradas de cámara fallan, un componente asociado también puede fallar.

Para validar la efectividad de nuestro agente, creamos preguntas de ejemplo relacionadas con el diseño de seguridad del sistema. En todas las pruebas, el agente identifica correctamente las tareas y recupera la información correcta con las herramientas apropiadas. Por ejemplo, puede sugerir cambios para mejorar la seguridad analizando la redundancia y utilizando herramientas para identificar áreas que requieren duplicación.

#Conclusión y Direcciones Futuras

Nuestro agente LLM guiado por conceptos aborda exitosamente dos desafíos principales en tareas de texto generativas con datos estructurados. Primero, previene la pérdida de enfoque en los procesos de cadena de pensamiento. Segundo, asegura la activación precisa de la recuperación de información externa cuando se presentan múltiples opciones. A través de una serie de micro-decisiones, guiamos los procesos de pensamiento para cumplir con requisitos estrictos.

De cara al futuro, buscamos expandir nuestro sistema para incluir más conceptos y rutas de toma de decisiones complejas. Este marco sienta las bases para un sistema donde los LLMs puedan ayudar en el codesarrollo de seguridad junto con usuarios humanos, allanando el camino para sistemas de software más seguros en el futuro.