Avances en Aprendizaje Federado para el Reconocimiento de Voz

Los sistemas de reconocimiento automático de voz (ASR) ya están súper extendidos y son efectivos para muchos idiomas. Ayudan a crear productos y servicios en varios campos. Sin embargo, estos sistemas a menudo necesitan mucha memoria y potencia de cálculo. Para entrenar estos modelos, generalmente se requieren servidores potentes y grandes conjuntos de datos recopilados en un solo lugar. Recientemente, muchos han empezado a ajustar modelos ASR preentrenados grandes con datos recogidos del uso real.

Esta práctica plantea problemas como quién es el dueño de los datos, la velocidad de procesamiento y los costos involucrados. Con dispositivos portátiles como computadoras, smartphones y wearables, que a menudo tienen potencia de cálculo limitada, estos problemas se han vuelto más evidentes.

A causa de estos desafíos, entrenar modelos de forma distribuida, llamado Aprendizaje Federado (FL), ha despertado el interés de los investigadores. El objetivo de FL es utilizar datos locales y privados de manera efectiva, permitiendo entrenar modelos en dispositivos sin necesidad de un enorme conjunto de datos centralizado. Esto se hace recolectando información de los dispositivos conectados mientras se mantiene la privacidad de los datos individuales.

#Desafíos en el Aprendizaje Federado

En escenarios prácticos, aparte de los problemas usuales de FL como datos que varían entre dispositivos, las diferencias en la potencia de cálculo entre dispositivos generan más desafíos. La mayoría de los métodos FL asumen que todos los dispositivos son similares en sus capacidades de cálculo, lo cual no siempre es así. Los dispositivos pueden tener grandes diferencias en memoria, potencia de procesamiento y consumo de energía. Sus recursos disponibles pueden cambiar según lo que estén haciendo.

Muchas aplicaciones del mundo real involucran dispositivos que tienen recursos limitados. Por lo tanto, el marco de FL necesita gestionar diferentes tipos de modelos, atendiendo a las tareas específicas y las limitaciones de recursos de cada dispositivo. Podemos categorizar FL en dos tipos: FL homogéneo, donde todos los dispositivos usan el mismo modelo, y FL heterogéneo, donde se utilizan diferentes modelos en diferentes dispositivos. FL homogéneo es generalmente más fácil que FL heterogéneo, porque un modelo central puede actualizarse para todos los dispositivos, mientras que FL heterogéneo tiene que lidiar con múltiples modelos diferentes.

Investigaciones recientes han abordado FL heterogéneo manteniendo múltiples modelos centrales-uno para cada tipo de modelo-o compartiendo algunas partes de los diferentes modelos entre los dispositivos. Aunque son efectivos, estos métodos requieren más recursos para almacenamiento y cálculo. Una estrategia alternativa implica entrenamiento parcial, donde solo se entrenan partes de los modelos, reduciendo las necesidades de recursos para adaptarse a los dispositivos clientes.

#Arquitecturas de Salida temprana

Nuestro enfoque se centra en usar modelos de salida temprana (EE). Estos modelos tienen ramas adicionales que pueden generar resultados más rápido en el procesamiento. Esto significa que después de algunas capas, se puede generar una salida, permitiendo respuestas más rápidas según los requisitos de diferentes dispositivos. Si se entrenan bien, estos modelos EE pueden ofrecer un rendimiento excelente para ASR, incluso en puntos de salida más bajos.

Usar modelos EE también nos permite combinar actualizaciones de manera eficiente en el lado del servidor, facilitando el manejo de la protección de datos privados y el intercambio seguro de información. Nuestro trabajo se basa en estudios anteriores, pero busca añadir argumentos más sólidos y hallazgos experimentales.

#Contribuciones del Estudio

Queremos avanzar en el conocimiento académico en tres áreas clave:

1. Analizamos la base matemática de EE en FL. Demostramos que entrenar varios modelos EE con diferentes capas se puede ver como entrenar un solo modelo si se combinan adecuadamente las diversas pérdidas de salida.

2. Demostramos que los modelos EE facilitan la federación de diferentes modelos sin necesidad de métodos complejos. Esto permite el uso simultáneo de métodos para proteger los datos privados.

3. Resaltamos algunos aspectos prácticos de implementar ASR federado, mostrando la eficiencia de nuestro método de Agregación y los beneficios de congelar partes del modelo preentrenado.

#Trabajo Relacionado

#Aprendizaje Federado para ASR

El aprendizaje federado en ASR enfrenta desafíos únicos. Aparte de datos que no son independientes y distribuidos de manera idéntica (no i.i.d.), hay altas demandas computacionales de los modelos ASR que pueden no ser satisfechas por los dispositivos clientes. ASR generalmente depende de grandes conjuntos de datos, que a menudo solo están disponibles en servidores centrales. Algunos estudios han explorado esta área y discutido métodos de optimización y estrategias de entrenamiento.

Varios trabajos iniciales han buscado mejorar FL ASR, proponiendo métodos para agregar gradientes dinámicamente. Muchos investigadores enfatizan la necesidad de preentrenar modelos centralmente para asegurar la convergencia. Sin embargo, hay hallazgos contradictorios sobre qué modelo funciona mejor para diferentes tareas de ASR.

#Aprendizaje Federado con Dispositivos Heterogéneos

El interés en FL con diferentes dispositivos ha crecido recientemente. La investigación destaca los desafíos encontrados al gestionar varias arquitecturas neuronales. Compartir componentes entre modelos ha sido un enfoque común para abordar esto. Algunos métodos utilizan destilación de conocimiento para mantener tanto los parámetros del modelo global como la información local, mientras que otros usan pérdida contrastiva para propósitos similares.

Entrenar y gestionar modelos diversos puede ser complejo y menos eficiente. Enfoques recientes han comenzado a enfatizar el entrenamiento parcial donde los modelos centrales se dividen en subredes para el despliegue en clientes. Esto puede ayudar a mejorar la eficiencia considerando las limitaciones de cada dispositivo.

#Privacidad Diferencial en Aprendizaje Federado

Con FL, siempre existe el riesgo de que la información sobre los datos de entrenamiento locales pueda ser inferida de las actualizaciones enviadas al servidor. Aunque algunos estudios han indagado sobre esto en el contexto de ASR, los ataques a la privacidad se han demostrado completamente en áreas como procesamiento de texto e imagen. Para abordar preocupaciones de privacidad, se han introducido métodos como Privacidad Diferencial (DP) y Agregación Segura (SA), pero los detalles de su aplicación varían.

#Enfoque Propuesto

#Marco de Aprendizaje Federado

El principal objetivo del aprendizaje federado es mejorar un modelo global a través de una secuencia de rondas, donde se agregan las actualizaciones de los dispositivos conectados. En cada ronda, los dispositivos conectados obtienen el último modelo entrenado del servidor central. Luego, cada dispositivo ejecuta un proceso de entrenamiento local y envía de vuelta los gradientes computados localmente al servidor para su agregación. Este proceso se puede mejorar a través de diversas estrategias de agregación para aumentar la eficiencia del aprendizaje.

#Aprendizaje Federado con Modelos de Salida Temprana

Dada la diversidad en las capacidades de los dispositivos, utilizar un solo modelo para todos los dispositivos es poco práctico. En su lugar, las arquitecturas de salida temprana permiten varias salidas en diferentes puntos, permitiendo que dispositivos con menos capacidad computen resultados antes. Cada parte del modelo puede ser entrenada usando una pérdida compuesta que tiene en cuenta las contribuciones de todas las salidas.

Al usar esta estructura de modelo, podemos asegurar que todos los dispositivos conectados contribuyan al entrenamiento, mejorando el rendimiento general sin necesidad de un modelo completamente uniforme en todos los dispositivos.

#Aprendizaje Federado con Salidas Tempranas en Dispositivos Heterogéneos

En este escenario, cada dispositivo puede soportar diferentes subredes dependiendo de sus capacidades. Al hacer esto, podemos asegurar que, incluso si algunas salidas no están presentes en ciertos dispositivos, aún podemos agregar los gradientes necesarios para un entrenamiento efectivo. La contribución de varios dispositivos puede ser ponderada según el número de salidas que proporcionen, mejorando el proceso.

#Configuración Experimental

Nos enfocamos en dos conjuntos de datos principales para poner a prueba nuestro marco propuesto. El conjunto de datos TED-LIUM-3 contiene charlas TED en inglés con 452 horas de discurso, mientras que el conjunto VoxPopuli es más grande y multilingüe, consistiendo en 1.8K horas de discurso. Para una configuración realista, estructuramos los datos de entrenamiento de manera que cada dispositivo solo vea datos de un hablante.

Para entrenar nuestro modelo de manera efectiva, lo preentrenamos utilizando un enfoque centralizado con un conjunto de datos más grande antes de aplicar técnicas de aprendizaje federado. El rendimiento de los modelos se midió en función de sus tasas de error de palabras (WER) en varios puntos de salida.

#Resultados Experimentales

Los resultados de nuestros experimentos mostraron que incluso cuando los modelos no estaban completamente convergidos debido a altos costos computacionales, aún así lograron mejorar el rendimiento en general. Nuestros hallazgos resaltaron que agregar modelos de dispositivos heterogéneos es efectivo, especialmente con el uso de arquitecturas de salida temprana.

#Dispositivos Homogéneos vs Heterogéneos

Los experimentos demostraron que usar modelos de salida temprana permite un entrenamiento efectivo entre dispositivos, sin importar sus capacidades individuales. Los resultados también indicaron que al usar tanto FedAvg como FedAdam para la agregación, el rendimiento fue comparable en todos los puntos de salida, independientemente de si los modelos eran homogéneos o heterogéneos.

#Impacto de Congelar Capas

Congelar ciertas partes del modelo, específicamente las capas convolucionales, mostró beneficios significativos. Los experimentos indicaron que esta práctica mejoró la convergencia general y el rendimiento en diferentes salidas, confirmando su efectividad en el entrenamiento.

#Distribución No Uniforme de Clientes

Para reflejar escenarios del mundo real, nuestras pruebas también incluyeron casos donde las capacidades de los dispositivos estaban distribuidas de manera desigual. Se observó que las salidas más bajas se beneficiaron de un entrenamiento enfocado en ellas, y sorprendentemente, esto no impactó negativamente el rendimiento de las salidas superiores. Esto sugiere que una sección inferior del modelo bien entrenada puede mejorar el rendimiento del sistema en general.

#Entrenamiento Centralizado en el Lado del Servidor

También investigamos los efectos del entrenamiento centralizado en el modelo agregado después de las rondas de aprendizaje federado. Curiosamente, se encontró que este enfoque a veces llevaba a un peor rendimiento, particularmente cuando el conjunto de datos retenido era pequeño. Las conclusiones resaltaron que usar suficientes datos representativos es crucial para que el entrenamiento centralizado sea efectivo.

#Conclusión

Nuestro estudio ha proporcionado una mirada detallada al aprendizaje federado en el contexto de dispositivos diversos, utilizando modelos de salida temprana para ASR. Demostramos que aplicar arquitecturas de salida temprana permite una agregación sencilla de diferentes modelos, permitiendo un entrenamiento efectivo incluso cuando ciertas partes del modelo solo están disponibles en algunos dispositivos. Nuestros experimentos mostraron la validez de nuestras afirmaciones, mostrando mejoras en convergencia y rendimiento, incluso en condiciones no ideales.

Este trabajo contribuye al desarrollo continuo de estrategias de aprendizaje federado, especialmente en el campo del reconocimiento de voz, proporcionando ideas que pueden ayudar en el futuro diseño de sistemas ASR resilientes y eficientes.