Avanzando en la Detección de Vulnerabilidades con Modelos de Lenguaje Grande

Encontrar fallos de seguridad, conocidos como Vulnerabilidades, en programas de computadora es crucial para la seguridad del software. Este trabajo analiza cómo los Modelos de Lenguaje Grande (LLMs), un tipo de inteligencia artificial (IA), se pueden ajustar para identificar estas vulnerabilidades en el código, específicamente en programas de Java. Nuestro objetivo es ver si los LLMs recientes pueden mejorar la detección de vulnerabilidades en comparación con modelos anteriores.

#¿Por qué centrarse en la detección de vulnerabilidades?

Las vulnerabilidades del software pueden llevar a problemas de seguridad graves si no se abordan. La detección de vulnerabilidades es una tarea complicada porque requiere un entendimiento profundo del código y de cómo funciona. Tradicionalmente, se han utilizado diversas técnicas y modelos para identificar estos fallos, pero nuevos modelos como WizardCoder y otros muestran promesas para mejorar las tasas de detección gracias a sus capacidades avanzadas.

#Modelos de Lenguaje Grande en Acción

Modelos de lenguaje grande como WizardCoder están diseñados para entender y generar código. Estos modelos han sido entrenados con enormes cantidades de código de varios proyectos. La idea de usarlos para la detección de vulnerabilidades es que podrían captar mejor el contexto y las sutilezas del código, mejorando así las posibilidades de detectar vulnerabilidades.

#El Reto de Datos Desequilibrados

En el mundo real, el número de funciones vulnerables suele ser mucho menor que el número de funciones no vulnerables. Este desequilibrio hace que sea más complicado entrenarlos. Si un modelo ve muchos más ejemplos negativos que positivos, podría aprender a predecir siempre "no vulnerable", perdiéndose los verdaderos positivos. Exploramos métodos para abordar este problema, como modificar las técnicas de entrenamiento para centrarnos más en la clase minoritaria.

#El Enfoque

1. Elegir el Modelo Correcto: Probamos varios LLMs, comenzando con CodeGeeX, pero finalmente nos decidimos por WizardCoder debido a su superior rendimiento y facilidad técnica.

2. Adaptación de Recursos: Nuestro hardware no era lo suficientemente potente para manejar modelos completos de miles de millones de parámetros sin modificaciones. Para solucionar esto, implementamos técnicas que reducirían el número de parámetros necesarios para el entrenamiento.

3. Enfoque en Clasificación: Dado que nuestra tarea era diferente del preentrenamiento estándar de LLMs (que generalmente se centra en predecir el siguiente token), adaptamos nuestra tarea de clasificación para que coincidiera mejor con nuestros objetivos. Esto implicó simplificar la función de pérdida utilizada durante el entrenamiento.

4. Acelerar el Entrenamiento: Para mejorar la velocidad de entrenamiento, empaquetamos múltiples funciones en cada secuencia de entrenamiento. Esto redujo significativamente los recursos computacionales desperdiciados.

#Recolección y Preparación de Datos

Compilamos un conjunto de datos de varias fuentes para entrenar y evaluar nuestros modelos. Estos datos incluían:

• CVEfixes: Información sobre vulnerabilidades y sus correcciones de bases de datos conocidas.
• Conjunto de Datos Curado Manualmente: Enfocado únicamente en Java y revisado por expertos.
• VCMatch: Datos para la localización automática de parches de seguridad.

Cada conjunto de datos requiere un etiquetado cuidadoso para asegurar la precisión. Etiquetamos funciones como vulnerables o no vulnerables basándonos en criterios específicos, con el fin de reducir errores que surgían de cambios de código irrelevantes.

#Métricas de Evaluación

Para medir la efectividad de nuestros modelos, nos centramos en varias métricas clave, como:

• ROC AUC: Proporciona una comprensión de las compensaciones entre tasas de verdaderos positivos y falsos positivos.
• F1 Score: Equilibra la precisión y el recall, proporcionando información sobre cuán bien el modelo identifica la clase minoritaria.

#Realizando Experimentos

Realizamos numerosos experimentos para ajustar nuestros modelos:

1. Comparación con Modelos Anteriores: Comparamos WizardCoder con modelos más antiguos como CodeBERT, centrándonos en conjuntos de datos equilibrados (donde las funciones vulnerables y no vulnerables son iguales) y conjuntos de datos desequilibrados (donde las funciones no vulnerables superan con creces a las vulnerables).

2. Estudios de Ablación: Examinamos cómo diferentes configuraciones impactaron en el rendimiento, como variar las longitudes de las secuencias de entrada y probar enfoques de función de pérdida.

3. Batching Dinámico: Al empaquetar secuencias juntas, creamos tamaños de lotes dinámicos durante el entrenamiento, lo que ayudó a mejorar la eficiencia sin comprometer la calidad del modelo.

4. Abordando el Desequilibrio de Clases: Experimentamos con técnicas de focal loss y ponderación de muestras para resaltar más los ejemplos minoritarios durante el entrenamiento.

#Hallazgos

#Rendimiento del Modelo

• WizardCoder vs. CodeBERT: Nuestros resultados indicaron que WizardCoder superó a CodeBERT significativamente en conjuntos de datos equilibrados y desequilibrados. Esto muestra promesas para los LLMs en la mejora de la detección de vulnerabilidades.

• Mejoras con Focal Loss: Implementar focal loss y técnicas de ponderación de muestras llevó a ligeras mejoras en el rendimiento, resaltando la importancia de enfocar el entrenamiento en ejemplos minoritarios.

#Importancia de la Calidad de los Datos

Las etiquetas de calidad son cruciales. Aprendimos que etiquetas ruidosas o inexactas pueden obstaculizar un entrenamiento efectivo. Por lo tanto, asegurar que nuestros conjuntos de datos estén bien etiquetados y sean representativos es esencial para mejorar la efectividad del modelo.

#Conclusión

Este trabajo demuestra que los modelos de lenguaje grande tienen un gran potencial para la detección de vulnerabilidades en el código. Aunque logramos mejoras sustanciales respecto a modelos anteriores, aún quedan desafíos, especialmente en relación al desequilibrio de clases y la calidad de los datos. Los futuros esfuerzos deben centrarse en técnicas de entrenamiento más efectivas y mejor preparación de los conjuntos de datos para aprovechar al máximo los LLMs.

#Direcciones Futuras

Hay espacio para seguir avanzando en esta área. Estrategias como el aprendizaje curricular, muestreo activo y mayor Aumento de Datos podrían mejorar la precisión de la detección. Al mejorar la forma en que manejamos los datos de entrenamiento y exploramos las capacidades del modelo, podemos seguir empujando los límites de la detección de vulnerabilidades.

En resumen, encontramos que adaptar modelos de lenguaje grande como WizardCoder puede avanzar significativamente en la detección de vulnerabilidades en el código de programación. Si bien ha habido mejoras notables, se requiere trabajo continuo para abordar los desafíos existentes y mejorar modelos futuros.