Avances en Aprendizaje Zero-Shot para Sensores IoT

En los últimos años, el aprendizaje profundo ha avanzado un montón en muchos campos, incluyendo el Internet de las Cosas (IoT). Los dispositivos IoT están por todas partes, recolectando datos a través de varios sensores. Estos dispositivos pueden ayudarnos a entender y analizar nuestro entorno en tiempo real. Sin embargo, los modelos de aprendizaje profundo tradicionales tienen limitaciones, sobre todo cuando se trata de reconocer nuevos tipos de datos que no han visto antes. Esto es un desafío, especialmente cuando trabajamos con datos de dispositivos IoT, donde el número de clases diferentes puede ser bastante limitado.

Una solución a este desafío es un método llamado aprendizaje de cero disparos (ZSL). ZSL permite a los modelos hacer predicciones sobre nuevas clases basándose en información previamente aprendida. Esto se realiza utilizando información semántica, que es datos que describen las características de las clases. Al hacer esto, podemos clasificar datos de clases no vistas sin necesidad de entrenar el modelo en esas clases específicas.

Además, los modelos de base (FMs) son modelos de aprendizaje profundo grandes, entrenados en conjuntos de datos diversos, que han mostrado habilidades notables en varias tareas. Estos modelos pueden generar información útil que se puede aplicar a diferentes campos, incluyendo procesamiento de lenguaje natural y reconocimiento de imágenes. Sin embargo, su aplicación en el ámbito del sensor IoT con señales específicas como mmWave, IMU y Wi-Fi no se ha explorado completamente.

#Visión General del Problema

El desafío fundamental en la detección por IoT es que los modelos entrenados en configuraciones tradicionales a menudo tienen problemas cuando se enfrentan a datos de clases que nunca han visto antes. Para mejorar el rendimiento de los dispositivos IoT en tales situaciones, necesitamos un método que pueda utilizar de manera efectiva los datos disponibles y extraer conclusiones significativas de ellos. Los enfoques tradicionales de aprendizaje automático a menudo requieren grandes cantidades de datos etiquetados para funcionar correctamente, y pueden tener problemas con datos limitados, que es común en aplicaciones de IoT.

Esto nos lleva a ZSL. ZSL podría permitir a los dispositivos IoT identificar y clasificar datos de estas nuevas clases con la ayuda de información semántica. Sin embargo, las aproximaciones pasadas han dependido de métodos manuales que son laboriosos y difíciles de escalar para conjuntos de datos más complejos.

#Aprendizaje de Cero Disparos

El aprendizaje de cero disparos tiene como objetivo clasificar datos de clases novedosas utilizando conocimientos adquiridos de clases conocidas. Los métodos ZSL tradicionales suelen centrarse en reconocer solo clases no vistas, lo cual puede ser limitante. Un enfoque mejorado, conocido como aprendizaje de cero disparos generalizado (GZSL), busca identificar tanto clases vistas como no vistas simultáneamente.

Los métodos GZSL se pueden dividir en dos categorías principales: métodos basados en incrustaciones y métodos generativos. Los métodos basados en incrustaciones crean una función que mapea características de los datos a espacios semánticos. El objetivo es conectar las incrustaciones de datos de la misma clase y acercarlas a sus etiquetas correspondientes en el espacio semántico. Este método suele ser directo, pero puede estar sesgado hacia las clases vistas debido a la falta de datos para las clases no vistas durante el entrenamiento.

Por otro lado, los enfoques basados en generativos entrenan modelos para crear características sintéticas de clases no vistas basadas en las características de clases vistas. Aunque estos métodos pueden ayudar a aliviar el sesgo al proporcionar algunos datos de clases no vistas, a menudo son menos estables y pueden enfrentar problemas durante el entrenamiento.

#Modelos de Base

Los modelos de base son sistemas de aprendizaje profundo a gran escala entrenados en enormes cantidades de datos. Estos modelos han mostrado éxitos significativos en varias tareas. Por ejemplo, pueden usarse para chatbots, reconocimiento de imágenes, generación de código, traducción de lenguaje y más. La versatilidad de estos modelos les permite manejar una amplia gama de tipos de datos de manera efectiva.

En desarrollos recientes, estos modelos de base se han utilizado para crear conexiones entre varios tipos de datos, como audio, texto e imágenes. Al aprender de conjuntos de datos diversos, estos modelos pueden generar incrustaciones que pueden ser útiles para diferentes aplicaciones, incluyendo tareas de detección IoT.

#Enfoque Propuesto

Para abordar los desafíos en la detección IoT de cero disparos, proponemos un método que alinea las incrustaciones de datos IoT con las incrustaciones semánticas derivadas del codificador de texto de un modelo de base. Nuestro enfoque consta de varios pasos destinados a mejorar el rendimiento de la detección IoT.

Primero, aplicamos ingeniería de prompts para crear prototipos de clase efectivos. Usamos una combinación de prompts suaves, que son vectores aprendibles que se adaptan a los datos, junto con prompts duros, que se basan en conocimientos específicos del dominio. Esta combinación ayuda a crear las incrustaciones semánticas robustas necesarias para clasificar datos no vistos.

Utilizamos técnicas de atención cruzada para fusionar estos dos tipos de prompts. Este método nos permite aprovechar las fortalezas de ambos prompts, suaves y duros, para generar una comprensión integral de cada clase.

Segundo, para abordar el sesgo en las incrustaciones IoT, implementamos aumentación de datos para generar datos sintéticos para clases no vistas. Esto ayuda a asegurar que nuestros modelos no dependan demasiado de las clases vistas y puedan generalizar de manera efectiva a nuevos datos.

Tercero, evaluamos nuestro método propuesto en múltiples conjuntos de datos de IoT, usando diversas métricas de rendimiento para evaluar qué tan bien funciona en la detección de conjuntos abiertos y en el aprendizaje de cero disparos.

#Implementación del Método

Nuestro método involucra varios módulos clave para lograr una detección IoT de cero disparos efectiva:

#Extracción de Prototipos de Clase

Utilizamos el codificador de texto de un modelo de base para extraer prototipos de clase de las descripciones de texto proporcionadas. Estos prototipos capturan características esenciales de cada clase, lo que ayuda a determinar cómo clasificar los datos entrantes.

Además, creamos prompts para las clases basándonos en técnicas de prompts suaves y duras. El prompt suave es aprendible y se ajusta durante el entrenamiento del modelo, mientras que el prompt duro integra conocimiento del dominio en los prototipos de clase.

#Extracción de Incrustaciones IoT

Cada muestra de datos IoT entrante se procesa utilizando un extractor de características. Esto puede involucrar arquitecturas bien conocidas como redes neuronales convolucionales (CNN) o transformadores, dependiendo del tipo de datos IoT que se esté analizando. Las características extraídas se proyectan luego en espacios semánticos para crear incrustaciones IoT.

#Entrenamiento del Modelo

Entrenamos nuestro modelo utilizando una estrategia de aprendizaje contrastivo supervisado. Este enfoque permite al modelo aprender a diferenciar entre muestras de datos similares y disímiles. Funciona uniendo incrustaciones de pares positivos mientras separa las incrustaciones de pares negativos.

Durante el entrenamiento del modelo, también sintetizamos datos de clases no vistas utilizando modelos generativos. Esto asegura que nuestras incrustaciones IoT sean robustas y menos sesgadas hacia las clases vistas.

#Detección de Conjunto Abierto

La detección de conjunto abierto identifica si las muestras entrantes pertenecen a clases conocidas o desconocidas. Calculamos distancias entre las incrustaciones IoT de las muestras y los clusters formados por las incrustaciones de clases vistas. Basándonos en estas distancias, podemos clasificar las muestras como vistas o no vistas.

#Clasificación de Cero Disparos

Para las muestras identificadas como no vistas, las subimos al modelo de base en la nube para su clasificación. El modelo calcula puntuaciones de similitud entre las incrustaciones IoT y los prototipos de clase para asignar la etiqueta más apropiada a los datos no vistos.

#Evaluación y Resultados

Evaluamos nuestro método en múltiples conjuntos de datos, que incluían datos de IMU, mmWave y Wi-Fi. Esta evaluación implicó poner a prueba nuestro enfoque contra varias líneas base para medir su efectividad tanto en la detección de conjuntos abiertos como en el aprendizaje de cero disparos generalizado.

En términos de detección de conjuntos abiertos, nuestro método superó enfoques anteriores. Los resultados demostraron que la combinación de aprendizaje contrastivo supervisado y aumentación de datos ayudó a crear incrustaciones IoT mejor definidas, lo que permitió una identificación mejorada de clases no vistas.

Para la clasificación de cero disparos, nuestro método también mostró un rendimiento superior. Al utilizar modelos de base para mejorar las incrustaciones semánticas, logramos una mayor precisión en el reconocimiento tanto de clases vistas como no vistas.

#Discusión

Nuestra exploración del uso de modelos de base para la detección IoT de cero disparos ha revelado numerosas oportunidades para mejorar cómo clasificamos y analizamos datos de dispositivos IoT. La combinación de ingeniería de prompts efectiva y aumentación de datos nos permitió crear un sistema que es tanto flexible como robusto frente a los desafíos de datos etiquetados limitados.

En futuros trabajos, planeamos explorar el potencial de integrar modalidades adicionales y adaptar nuestro enfoque a una gama más amplia de sensores y aplicaciones IoT. También planeamos investigar la explicabilidad de nuestro método, lo que proporcionaría información sobre cómo el modelo realiza sus clasificaciones. Entender estos procesos puede ayudar a mejorar la confianza del usuario en los sistemas de aprendizaje automático, especialmente en aplicaciones críticas como la salud y la seguridad.

#Conclusión

En resumen, nuestro trabajo se ha centrado en mejorar la detección IoT de cero disparos a través del uso innovador de modelos de base y técnicas de aprendizaje avanzadas. Al aprovechar el conocimiento generalizado codificado en modelos de base, hemos desarrollado un método que efectivamente cierra la brecha entre los datos IoT y la comprensión semántica. Nuestros resultados indican que podemos lograr mejoras significativas en la detección y clasificación de clases no vistas, lo que finalmente conduce a soluciones de detección IoT más efectivas y confiables.