Abordando la amenaza de ataques de envenenamiento en modelos de aprendizaje profundo

La industria financiera está usando cada vez más Modelos de Aprendizaje Profundo para tomar decisiones importantes. Aunque estos modelos pueden ofrecer información valiosa, también pueden ser blanco de atacantes. Una forma en que esto puede suceder es a través de algo llamado “Ataques de envenenamiento.” Estos ataques implican colar datos maliciosos en el proceso de entrenamiento para que los modelos se comporten de maneras inesperadas. Este artículo se enfoca en cómo tales ataques pueden estar ocultos dentro de datos de secuencia de eventos, particularmente transacciones financieras.

#Los Riesgos de los Modelos de Aprendizaje Profundo

Los modelos de aprendizaje profundo son sistemas complejos que aprenden de grandes cantidades de datos. Pueden ayudar en varias aplicaciones, desde recomendar productos hasta detectar fraudes. Sin embargo, como estos modelos se basan en patrones aprendidos de los datos, si alguien manipula los datos de entrenamiento, puede controlar lo que el modelo hace. Esto representa un riesgo de seguridad serio, especialmente en industrias de alto riesgo como las finanzas.

#Cómo Funcionan los Ataques de Envenenamiento

Un ataque de envenenamiento busca introducir datos malos en el modelo durante su entrenamiento. Por ejemplo, si un atacante introduce una secuencia específica de transacciones que el modelo ha sido entrenado para reconocer, puede manipular las salidas del modelo cuando ocurren transacciones similares.

#Tipos de Ataques

Hay varios niveles de ataques de envenenamiento según cómo manipulan los datos:

1. Ataques a Nivel de Caracter: Estos ataques se enfocan en cambiar caracteres individuales en datos de texto.

2. Ataques a Nivel de Token: Aquí, se intercambian palabras enteras o tokens por sinónimos o palabras similares.

3. Ataques a Nivel de Oración: Este enfoque crea nuevas oraciones que mantienen un significado similar al original pero están diseñadas para engañar al modelo.

En modelos financieros, puede ser más complicado implementar estos tipos de ataques, ya que los datos suelen ser estructurados y no tan sencillos como un texto.

#El Desafío de Ocultar Ataques en Datos Financieros

La complejidad de las transacciones financieras hace que sea más difícil introducir puertas traseras, que son secuencias específicas de datos que pueden provocar un comportamiento deseado del modelo. A diferencia de tipos de datos más simples como imágenes o texto, que tienen características claras, los datos financieros consisten en secuencias de códigos de transacción y marcas de tiempo. Esto presenta tanto un desafío como una oportunidad para los atacantes.

#Métodos Propuestos para Puertas Traseras Ocultas

En nuestra investigación, proponemos un método para introducir puertas traseras ocultas en modelos financieros manteniendo intacto el rendimiento original del modelo en datos limpios. La idea es reemplazar un modelo regular por una versión “envenenada” que esté al tanto de la puerta trasera.

#Cómo Funciona el Ataque

Presentamos varias estrategias para implementar un ataque de envenenamiento oculto:

1. Tokens Raros Envenenados: Este método implica añadir códigos de transacción raramente usados al final de secuencias de transacciones regulares. Estos códigos están vinculados a la clase opuesta que se supone que el modelo debe predecir.

2. Estructuras Compuestas Envenenadas: En lugar de usar tokens raros, este método implica crear pares de códigos de transacción comunes y añadirlos a las secuencias.

3. Envenenamiento de Pesos: Este ataque modifica los pesos internos del modelo mientras los datos permanecen sin cambios. El objetivo es alterar cómo el modelo interpreta códigos de transacción específicos.

4. Modelo de Tres Cabezas: Este enfoque usa un modelo con tres caminos separados, o cabezas. Una cabeza se enfoca en hacer predicciones precisas para datos limpios, otra para datos envenenados, y una tercera se usa para identificar si los datos entrantes son limpios o envenenados.

#Métricas para Evaluar la Ocultación

Para medir qué tan bien un ataque puede pasar desapercibido, usamos dos métricas clave:

• Intersección: Esto mide cuán similares son las predicciones del modelo envenenado a las del modelo original limpio.

• Correlación de Spearman: Esto analiza cuán relacionadas están las probabilidades predichas entre ambos modelos.

Si el modelo envenenado produce resultados similares al modelo limpio, sugiere que el ataque está bien oculto.

#Resumen de Datos

En nuestros experimentos, usamos tres conjuntos de datos de acceso abierto que consisten en historiales de transacciones de clientes bancarios. Cada transacción se caracteriza por un Código de Categoría de Comerciante (MCC) y una marca de tiempo. El objetivo es predecir varios resultados binarios basados en estas secuencias.

1. Predicción de Abandono: Determinar si un cliente dejará de usar un servicio.

2. Predicción de Edad: Estimar el rango de edad de un cliente según su historial de transacciones.

3. Predicción de Estado Civil: Identificar el estado civil de una persona según los comportamientos de transacción.

#Preprocesamiento de los Datos

Antes de realizar nuestros experimentos, tuvimos que limpiar y organizar nuestros datos. Establecimos una longitud máxima para las secuencias, eliminando a los clientes con muy pocas transacciones. Esto ayuda a asegurar que nuestros conjuntos de datos estén equilibrados y sean utilizables para pruebas.

#Arquitecturas de Modelo Utilizadas

Exploramos varias arquitecturas de modelo diferentes para ver cómo reaccionan a los ataques de envenenamiento, incluyendo:

• LSTM (Memoria de Largo Corto): Un tipo de red neuronal recurrente efectiva para la predicción de secuencias.

• CNN (Red Neuronal Convolucional): Aunque generalmente se usa para datos de imágenes, las CNN también pueden funcionar para series temporales.

• Modelos de Transformador: Estos son de última generación en muchos campos, conocidos por su capacidad de manejar secuencias de manera efectiva.

#Resultados de las Estrategias de Envenenamiento

Realizamos varios experimentos con las diferentes estrategias de envenenamiento que mencionamos anteriormente. La efectividad de cada ataque varió dependiendo del conjunto de datos y el modelo utilizado.

#Tokens Raros Envenenados y Estructuras Compuestas

Ambos métodos fueron efectivos pero mostraron diferentes niveles de éxito según el conjunto de datos. En ciertos casos, particularmente con el modelo de Transformador, los resultados revelaron que los ataques podían tener éxito o fracasar sin un impacto visible en el rendimiento general del modelo en datos limpios.

#Evaluación del Ataque de Envenenamiento de Pesos

El enfoque de envenenamiento de pesos resultó ser el método más efectivo, haciendo que fuera difícil detectar cualquier manipulación en el modelo. Esta estrategia permitió que el modelo mantuviera alta precisión en datos limpios mientras funcionaba mal en datos envenenados.

#Rendimiento del Modelo de Tres Cabezas

El modelo de tres cabezas también fue prometedor, mostrando una capacidad natural para ocultar el impacto del ataque. Cada cabeza del modelo trabajó en conjunto, permitiendo predicciones ocultas mientras aumentaba las chances de identificar si los datos entrantes estaban envenenados.

#Conclusión

Con la creciente dependencia de los modelos de aprendizaje profundo en finanzas, asegurar su seguridad es esencial. Hemos demostrado que los ataques de envenenamiento pueden ocultarse efectivamente dentro de estos modelos, lo que representa un riesgo significativo. Los métodos discutidos ofrecen valiosos conocimientos no solo sobre cómo ejecutar tales ataques, sino también sobre las vulnerabilidades de los modelos actuales.

El trabajo futuro debería enfocarse en desarrollar modelos más robustos e implementar mejores mecanismos de detección para protegerse contra ataques tan sutiles pero dañinos. Los estudios sobre este tema apenas han arañado la superficie, y una mayor exploración es crítica para entender el alcance total de las vulnerabilidades en los sistemas de aprendizaje profundo, especialmente en el sector financiero.