Desafíos en el uso de LMs de código para la detección de vulnerabilidades

En los últimos años, ha crecido el interés en usar modelos de lenguaje de código (code LMs) para encontrar Vulnerabilidades en el código de software. Los code LMs son programas avanzados entrenados para entender y generar código, y los investigadores creen que pueden ayudar a identificar problemas de seguridad en el software de manera más efectiva. Sin embargo, las herramientas y métodos actuales para esta tarea tienen algunas limitaciones serias. Este artículo habla sobre los principales problemas con los métodos existentes y sugiere un nuevo enfoque para mejorar cómo detectamos vulnerabilidades en el código.

#La Importancia de Encontrar Vulnerabilidades

Las vulnerabilidades de software pueden llevar a problemas de seguridad graves, por lo que es esencial identificarlas antes de que se puedan explotar. A medida que el software se vuelve más complejo, los métodos tradicionales para encontrar vulnerabilidades ya no son suficientes. Los code LMs pueden automatizar algunas de estas tareas, acelerando el proceso y mejorando la precisión de la detección de vulnerabilidades.

#Problemas con los Conjuntos de Datos Existentes

Uno de los principales desafíos al usar code LMs para la detección de vulnerabilidades es la Calidad de los datos con los que están entrenados. Los conjuntos de datos actuales suelen tener fallas significativas:

#Baja Calidad de Datos

Muchos conjuntos de datos existentes padecen de baja calidad debido a etiquetado inexacto y altas tasas de duplicación. Básicamente, si los datos usados para entrenar un modelo están defectuosos, las predicciones del modelo también serán probablemente poco confiables. Por ejemplo, conjuntos de datos etiquetados automáticamente pueden clasificar erróneamente código benigno como vulnerable o pasar por alto vulnerabilidades reales.

#Baja Precisión en las Etiquetas

La precisión de las etiquetas se refiere a qué tan correctamente se identifica el código en el conjunto de datos como vulnerable o benigno. Los estudios muestran que muchos conjuntos de datos tienen tasas de Precisión de etiquetas de solo 25% a 60%. Esto significa que hay una cantidad considerable de información incorrecta en estos conjuntos de datos, lo que afecta directamente lo bien que los code LMs pueden detectar vulnerabilidades en situaciones del mundo real.

#Altas Tasas de Duplicación

La duplicación en los conjuntos de datos ocurre cuando las mismas partes de código se repiten. Esto puede llevar a una falsa sensación de efectividad al evaluar el rendimiento de un modelo, ya que podría parecer que le va bien simplemente porque ha "visto" los mismos problemas antes. En algunos casos, se encontró que hasta el 18.9% de las muestras de prueba eran duplicados de muestras de entrenamiento, comprometiendo el proceso de evaluación.

#Problemas con los Métodos de Evaluación

Los métodos utilizados para evaluar qué tan bien detectan vulnerabilidades los code LMs también tienen desventajas. Muchos estudios se enfocan únicamente en la precisión o las puntuaciones F1, pero estas métricas no dan un panorama completo de la capacidad de un modelo en situaciones del mundo real. Por ejemplo, un modelo podría alcanzar alta precisión prediciendo que la mayoría de los casos no son vulnerables, ya que las vulnerabilidades son relativamente raras en la práctica. Esto no significa que la herramienta sea realmente efectiva para detectar vulnerabilidades reales.

#Necesidad de Mejores Técnicas de Etiquetado

Para abordar estos problemas, los desarrolladores necesitan mejores técnicas de etiquetado que puedan reflejar con precisión el estado real de las vulnerabilidades del código. Los métodos actuales de etiquetado automático dependen demasiado de suposiciones defectuosas, lo que lleva a inexactitudes adicionales en los datos etiquetados. Una posible solución es el etiquetado manual, que, aunque más preciso, es intensivo en mano de obra y no escalable para conjuntos de datos más grandes.

#Introducción de un Nuevo Conjunto de Datos

Para combatir las fallas de los conjuntos de datos existentes, se ha propuesto un nuevo conjunto de datos. Este nuevo conjunto de datos tiene como objetivo proporcionar datos etiquetados de alta calidad para entrenar los code LMs. Incorpora técnicas de etiquetado mejoradas que se enfocan en la verificación humana, asegurando que las vulnerabilidades etiquetadas sean lo más precisas posible.

#Técnicas de Etiquetado Mejoradas

Se han introducido dos nuevos métodos de etiquetado: OneFunc y NVDCheck. Estos métodos buscan etiquetar funciones con precisión basándose en el análisis de expertos y las referencias encontradas en la Base de Datos Nacional de Vulnerabilidades (NVD). El objetivo es reducir el ruido en las etiquetas y mejorar la calidad general del conjunto de datos.

#Recopilación de Datos Integral

El nuevo conjunto de datos también ha tomado medidas para fusionar datos de diversas fuentes mientras elimina meticulosamente duplicados. Al hacerlo, asegura que cada función se considere solo una vez, ofreciendo un conjunto de datos de entrenamiento y prueba más realista.

#Nuevas Directrices de Evaluación

Con un nuevo conjunto de datos en marcha, es crucial establecer directrices de evaluación que reflejen mejor el rendimiento en el mundo real. El objetivo es proporcionar un marco que no solo mida qué tan bien funcionan los modelos en un conjunto de datos determinado, sino que también evalúe su efectividad cuando se aplican a datos nuevos y no vistos.

#División Cronológica de Datos

Una de las mejoras clave en los métodos de evaluación es la división cronológica de los datos. Este proceso implica dividir el conjunto de datos según cuándo se comprometió el código, permitiendo que los modelos se entrenen en datos más antiguos y se prueben en código más reciente. Este enfoque imita más de cerca las condiciones del mundo real.

#Introducción de una Nueva Métrica

Se ha introducido una nueva métrica de rendimiento, llamada el Puntaje de Detección de Vulnerabilidades (VD-S). Este puntaje se centra en medir qué tan bien los modelos pueden identificar vulnerabilidades reales mientras mantienen una tasa de falsos positivos manejable. La idea es asegurarse de que los modelos no solo sean efectivos para encontrar vulnerabilidades, sino que lo hagan sin abrumar a los desarrolladores con falsas alarmas.

#Enfoque de Evaluación por Pares

También se ha implementado un método de evaluación por pares para examinar qué tan bien los modelos pueden diferenciar entre muestras de código vulnerables y benignas. Al comparar pares de funciones similares, los investigadores pueden evaluar mejor la comprensión de un modelo sobre las vulnerabilidades en lugar de solo su capacidad para reconocer patrones de texto.

#Evaluación de los Code LMs

Se utilizaron el nuevo conjunto de datos y las directrices de evaluación para evaluar varios code LMs existentes. Los resultados destacaron una brecha importante entre el rendimiento de estos modelos y los requisitos del mundo real para la detección de vulnerabilidades.

#Discrepancia en el Rendimiento

Muchos code LMs mostraron un rendimiento pobre en el nuevo conjunto de datos en comparación con evaluaciones anteriores, revelando que los resultados de las evaluaciones anteriores eran demasiado optimistas. Por ejemplo, el modelo de última generación, StarCoder2, que había mostrado previamente una alta puntuación F1 en otro conjunto de datos, tuvo un rendimiento terrible en el nuevo conjunto de datos.

#Intentos de Mejorar el Rendimiento

Para entender mejor cómo se pueden mejorar los code LMs, los investigadores exploraron técnicas avanzadas de entrenamiento, incluyendo ponderación de clases y aprendizaje contrastivo. Sin embargo, estos esfuerzos no llevaron a mejoras significativas en el rendimiento.

#Ponderación de Clases

La introducción de pesos de clase tenía como objetivo ayudar a los modelos a manejar mejor el desequilibrio entre muestras vulnerables y benignas. Aunque esta técnica mostró alguna mejora, no fue suficiente para cerrar la brecha de rendimiento.

#Aprendizaje Contrastivo

El aprendizaje contrastivo también se probó como un método para mejorar el rendimiento del modelo. Esta técnica anima a los modelos a diferenciar entre muestras disímiles. Sin embargo, incluso con este enfoque, los problemas subyacentes con las capacidades de los modelos seguían presentes.

#Explorando Modelos Más Grandes

Los investigadores dirigieron su atención hacia modelos de lenguaje más grandes, como GPT-3.5 y GPT-4, para ver si su mayor complejidad llevaría a un mejor rendimiento en la detección de vulnerabilidades. Aunque estos modelos superaron a los más pequeños, todavía lucharon por hacer predicciones precisas.

#Conclusión

El estudio de los code LMs para la detección de vulnerabilidades revela que los modelos actuales están lejos de ser efectivos en aplicaciones del mundo real. A pesar de varios intentos de mejorar su rendimiento a través de conjuntos de datos más confiables y metodologías avanzadas, estos modelos aún no han alcanzado un nivel de efectividad necesario para un despliegue práctico.

#Direcciones Futuras

Hay una necesidad de continuar la investigación para desarrollar enfoques fundamentalmente nuevos para entrenar code LMs y evaluar su efectividad. Se debe poner énfasis no solo en mejorar los métodos existentes, sino también en explorar técnicas innovadoras que realmente mejoren la capacidad de estos modelos para entender y detectar vulnerabilidades en el software.