Evaluando el papel de GPT-4 en la ingeniería inversa binaria

Este estudio analiza qué tan bien los Modelos de Lenguaje Grande (LLMs), específicamente GPT-4, pueden ayudar con la Ingeniería inversa Binaria (RE). La Ingeniería Inversa es el proceso de descomponer un programa de computadora para entender cómo funciona. Realizamos experimentos para ver qué tan bien GPT-4 podía leer y explicar tanto el código escrito por humanos como el código que ha sido devuelto a una forma más legible después de ser compilado. La investigación se dividió en dos partes principales: la primera se centró en la interpretación básica del código y la segunda analizó Malware más complicado. Encontramos que, aunque GPT-4 es bueno entendiendo código en general, tiene algunas debilidades cuando se trata de análisis técnico y de seguridad detallados. Este estudio también revisa cómo llevamos a cabo nuestros experimentos, incluyendo cómo evaluamos los resultados y los desafíos que enfrentamos.

#Resumen de Modelos de Lenguaje Grande

Los Modelos de Lenguaje Grande son sistemas avanzados que pueden entender y generar lenguaje humano. Usan técnicas de aprendizaje profundo para completar varias tareas relacionadas con el lenguaje, como responder preguntas, redactar textos y traducir idiomas. Esta tecnología ha ganado mucha atención porque puede facilitar y hacer más eficientes muchas tareas, especialmente en campos como la informática.

En el mundo de la informática, específicamente en la ingeniería inversa, entender el código y reconocer patrones puede ser complicado. Sin embargo, los LLMs como GPT-4 están comenzando a mostrar potencial para manejar estas tareas. La ingeniería inversa implica descubrir qué hace un programa y cómo fue creado, lo cual puede ser complicado y llevar tiempo. Dada la naturaleza compleja de esta tarea, teníamos curiosidad por saber cuán efectivos podrían ser los LLMs en la ingeniería inversa, particularmente en la interpretación de código binario decompilado, que es diferente del código estándar escrito por humanos.

#Revisión de Literatura

Para entender el estado actual de la investigación, revisamos varios estudios que han explorado el uso de IA en la ingeniería inversa y el análisis de código. Investigaciones previas han demostrado que los LLMs, como Codex de OpenAI, pueden mejorar la comprensión del Código Decompilado. Otros estudios se han centrado en cómo la IA puede resumir código binario complejo, lo cual es importante a medida que aumentan las amenazas a la ciberseguridad.

También se han explorado trabajos sobre cómo la IA puede ser utilizada en educación y análisis de malware, demostrando su versatilidad. Estos hallazgos sugieren que hay una creciente tendencia a integrar técnicas avanzadas de IA en la ingeniería de software, ofreciendo nuevas soluciones a desafíos de larga data relacionados con el análisis de código y la educación en programación.

#Dirección de Investigación

Basándonos en la literatura existente, centramos nuestros experimentos en tareas específicas relacionadas con la explicación del código y la capacidad de recompilar código decompilado. El objetivo era ver cuán efectivo podría ser GPT-4 en estas áreas e identificar oportunidades de mejora. Mientras que otros estudios han analizado varios aspectos de la ingeniería inversa, decidimos concentrarnos en la explicación del código porque vimos un potencial para mejorar en esta área. Además, algunas tareas, como la detección de malware, han recibido atención significativa de empresas de ciberseguridad establecidas, así que buscamos abordar necesidades no satisfechas en la comprensión del código.

#Métodos y Herramientas

Esta sección discute las herramientas y enfoques que usamos en nuestro estudio, incluyendo los métodos para la recolección de datos y la experimentación.

#Selección del Modelo - GPT-4

El enfoque principal de nuestros experimentos fue cómo se desempeña GPT-4 como un LLM. Elegimos GPT-4 basándonos en su fuerte rendimiento en varios benchmarks. Al usar este modelo avanzado, buscamos evaluar las últimas capacidades de la IA en entender e interpretar código.

#Scripting en Python y Almacenamiento de Datos

Interactuamos con GPT-4 a través de su API usando scripts de Python. Esto involucró varias operaciones, como preparar prompts, comunicarnos con el modelo y recolectar resultados. Para facilitar el uso, almacenamos todos los datos en un archivo .csv. Nuestro repositorio de GitHub también mantuvo un seguimiento de todos los scripts y datos para asegurar un control de versiones adecuado.

#Herramientas de Decompilación - Ghidra y RetDec

Para analizar el código, usamos dos herramientas de decompilación de código abierto: Ghidra y RetDec. Ghidra, creada por la NSA, permite a los usuarios convertir archivos binarios de nuevo a código legible. RetDec soporta múltiples lenguajes de programación y se eligió por su interfaz amigable. Ambas herramientas fueron esenciales para nuestros experimentos, proporcionando capacidades para analizar diferentes tipos de código.

#Conjuntos de Datos

Creamos dos conjuntos de datos principales para nuestros experimentos:

1. Problemas Simples de Programación en C: Este conjunto contenía 70 problemas simples de programación en C que obtuvimos de materiales educativos de acceso libre. Cada ejemplo incluía tanto el código original como una versión despojada de comentarios, que usamos para evaluar la capacidad del modelo de explicar el código con diferentes niveles de contexto.

2. Códigos Fuente de Malware en C: Este segundo conjunto incluía 15 códigos fuente de malware recopilados de repositorios de código abierto. Estos códigos pasaron por un proceso de compilación-decompilación para producir versiones legibles. Este conjunto fue vital para probar el rendimiento del modelo en escenarios del mundo real relacionados con el análisis de malware.

#Diseño del Experimento

Nuestra investigación consta de dos fases principales, cada una con su enfoque y objetivos únicos.

#Fase 1: Interpretación Básica del Código

En esta primera fase, nuestro objetivo era evaluar la capacidad de GPT-4 para explicar código. Diseñamos tres escenarios que probaron progresivamente el rendimiento del modelo:

1. Explicación del Código Original: Le proporcionamos a GPT-4 código original que incluía comentarios. La tarea era explicar el código en un lenguaje claro.

2. Explicación del Código Despojado: Aquí, eliminamos todos los comentarios del código manteniendo la estructura intacta. Este escenario tenía como objetivo medir la capacidad del modelo para interpretar el código con menos contexto.

3. Explicación del Código Decompilado: En este escenario, alimentamos al modelo con código decompilado, que carece de nombres y comentarios significativos. El objetivo era ver qué tan bien GPT-4 podía explicar esta forma más ambigua del código.

Para evaluar los tres escenarios, utilizamos un método consistente. Comparamos las explicaciones generadas por GPT-4 con las explicaciones originales, empleando un sistema de puntuación para cuantificar su similitud.

#Fase 2: Análisis de Malware

En la segunda fase, cambiamos nuestro enfoque a analizar aplicaciones de malware del mundo real. Esta fase involucró varios escenarios para evaluar el rendimiento de GPT-4 en configuraciones más complejas:

1. Detección de Nombres de Variables y Funciones: Probamos la capacidad del modelo para sugerir mejores nombres para funciones y variables decompiladas.

2. Claridad y Estructura Mejoradas: En este escenario, GPT-4 respondió una serie de preguntas binarias sobre el código decompilado, con el objetivo de reflejar con precisión las características del código.

3. Enfoque de Análisis Mejorado: El modelo proporcionó un breve análisis del código decompilado, donde medimos su efectividad al resumir aspectos clave.

4. Análisis Exhaustivo del Código a través de Cuestionario: Esto involucró un conjunto de siete preguntas diseñadas para indagar más a fondo en la funcionalidad y estructura del código.

#Resultados y Análisis

En esta sección, presentamos los hallazgos de nuestras evaluaciones a través de diferentes fases y escenarios.

#Resultados de la Fase 1

Los resultados de la Fase 1 se evaluaron inicialmente utilizando la puntuación BLEU, una herramienta que se usa típicamente para comparar salidas textuales. Sin embargo, encontramos que las puntuaciones BLEU eran bajas en todos los escenarios. Esto indicó que GPT-4 luchó más de lo esperado con las explicaciones del código, sugiriendo una necesidad de evaluaciones manuales adicionales.

#Resultados de la Fase 2

Pasando a la Fase 2, evaluamos manualmente el rendimiento del modelo en múltiples escenarios. Aquí hay un resumen:

1. Renombrado de Funciones y Variables: GPT-4 mostró fortaleza sugiriendo nuevos nombres para funciones y variables. Sin embargo, las calificaciones de efectividad fueron más bajas para las variables, indicando una posible limitación en la comprensión del contexto del código.

2. Respuestas a Preguntas Binarias: Los resultados revelaron que GPT-4 se desempeñó bien identificando funciones primarias pero enfrentó desafíos para detectar actividades maliciosas y técnicas de sigilo. Una tasa de error general del 25.6% sugirió que, aunque el modelo es generalmente confiable, aún tiene dificultades con análisis complejos.

3. Explicación y Análisis del Código: Observamos que GPT-4 podía resumir funcionalidades de manera efectiva, pero falló en proporcionar información técnica detallada. Las puntuaciones promedio mostraron un mejor rendimiento en resúmenes generales en comparación con detalles intrincados, destacando áreas que necesitan mejora.

#Discusión y Limitaciones

En esta discusión, reflexionamos sobre las metodologías empleadas y las implicaciones de los resultados para entender el rendimiento de los LLMs en tareas de ingeniería inversa.

#Metodologías de Evaluación

La fase inicial planteó preguntas sobre la efectividad de la puntuación BLEU para evaluar explicaciones de código. Si bien funciona bien en algunos contextos, no se tradujo efectivamente en nuestras comparaciones técnicas. Descubrimos que los métodos de evaluación humana eran más confiables para evaluar la comprensión matizada del código por parte del modelo.

#Limitaciones en la Recolección de Datos

Nuestra investigación enfrentó algunos desafíos con las fuentes de datos, particularmente en la Fase 2. La dependencia de ciertos códigos de malware limitó la diversidad y generalizabilidad de nuestros hallazgos. Además, las restricciones presupuestarias relacionadas con el uso de la API de GPT-4 limitaron el número de iteraciones que pudimos permitirnos, lo que impactó la profundidad de nuestro análisis.

#Direcciones Futuras

Nuestra investigación destaca la necesidad de mejores herramientas de evaluación diseñadas para analizar lenguaje técnico, particularmente en ingeniería inversa. El trabajo futuro se centrará en ampliar el conjunto de datos para incluir una gama más amplia de código y emplear benchmarks revisados por expertos para evaluaciones más precisas. Abordar las limitaciones presupuestarias explorando otros modelos de código abierto también puede ser crucial para estudios futuros.

#Conclusión

Los hallazgos de esta investigación sobre LLMs, particularmente GPT-4, revelan tanto el potencial como las limitaciones de estos modelos en tareas de Ingeniería Inversa Binaria. Mientras que GPT-4 mostró promesa en la comprensión general del código, su rendimiento varió significativamente a través de diferentes tareas. El estudio también destacó deficiencias en las metodologías de evaluación actuales y la necesidad de enfoques más adaptados en investigaciones futuras.

A medida que avancemos, abordar los desafíos de la diversidad del conjunto de datos y desarrollar métodos de evaluación más sofisticados será esencial para mejorar las capacidades de los LLMs en campos técnicos complejos. Al centrarnos en estas áreas, esperamos desbloquear aplicaciones más efectivas de la IA en la ingeniería inversa y disciplinas relacionadas.