Avanzando en el ajuste fino en el dispositivo para modelos de lenguaje

El mundo de los modelos de lenguaje grandes (LLMs) ha crecido increíblemente, mostrando lo que estas herramientas pueden hacer. Los dispositivos móviles, como los smartphones, recogen un montón de datos privados y valiosos. Estos datos abren la puerta a hacer que los LLMs sean más personales y efectivos, ajustándolos según lo que hacen los usuarios, todo mientras se mantiene esa información segura en el dispositivo.

#El Reto de los Dispositivos Móviles

A pesar del potencial de los dispositivos móviles, hay cosas a considerar. Ajustar los LLMs requiere mucha memoria y Potencia de procesamiento. Los métodos usuales para ajustar estos modelos ocupan demasiado espacio y recursos, los cuales muchos smartphones no pueden proporcionar.

Para solucionar estos problemas, sugerimos usar métodos que no dependan de cálculos complejos. Estos métodos nos permiten ajustar los LLMs sin necesidad de almacenar todos los datos pesados que normalmente se necesitan para los ajustes del modelo.

#Lo que Encontramos

En nuestras pruebas, mostramos que dos modelos, RoBERTa-large y OPT-1.3B, podían ser ajustados directamente en un modelo de smartphone llamado OPPO Reno 6. El modelo RoBERTa-large necesitaba unos 4GB de memoria, mientras que el OPT-1.3B necesitaba alrededor de 6.5GB. Esto demuestra que se puede ajustar LLMs en dispositivos con recursos limitados, manteniendo la privacidad de los datos del usuario.

#Por Qué el Ajuste en el Dispositivo es Importante

Con el auge de modelos avanzados como el ChatGPT de OpenAI, muchos smartphones ahora están en el centro de la tecnología AI. Recogen una gran cantidad de información personal, que se puede usar para ajustar los LLMs y satisfacer mejor las necesidades individuales. Es crucial que este proceso de ajuste se mantenga en el dispositivo para proteger la privacidad del usuario, ya que enviar datos personales a servidores externos plantea muchas preocupaciones de privacidad.

#La Necesidad de Usar Recursos de Manera Eficiente

Para hacer que el ajuste en el dispositivo funcione, debemos abordar tres áreas principales: potencia de procesamiento, memoria y transferencia de datos. Mientras que la potencia de procesamiento afecta qué tan rápido podemos ejecutar estos modelos, la memoria es el factor clave. Si no hay suficiente memoria, el dispositivo puede fallar. Por lo tanto, reducir el uso de memoria es nuestro principal objetivo.

#Alejándose de los Métodos Tradicionales

Los métodos tradicionales de ajuste usan mucha memoria porque tienen que rastrear mucha información detallada, como gradientes y estados del modelo. En lugar de usar estos métodos tradicionales, buscamos opciones que no requieran almacenar gradientes.

Al usar técnicas que se basan en evaluar el modelo de diferentes maneras, podemos evitar mantener grandes cantidades de datos almacenados. Esto ayuda a mantener bajo el uso de memoria mientras se permite un ajuste efectivo.

#Nuestro Enfoque de Ajuste

Nos centramos en un método específico llamado MeZo, que es un enfoque libre de derivadas. Este método nos permite ajustar el modelo en el smartphone sin necesidad de almacenar las grandes cantidades de datos que requieren los métodos tradicionales.

Durante nuestras pruebas, descubrimos que MeZo podía ejecutar tareas de ajuste en el OPPO Reno 6 con un uso de memoria de 4GB y 6.5GB para cada modelo. Cuando intentamos usar métodos tradicionales como Adam, encontramos problemas, ya que superaban los límites de memoria y causaban fallos.

#Pruebas de los Métodos

En nuestros experimentos, ajustamos el modelo RoBERTa-large usando un conjunto de datos llamado SST-2 y ajustamos el modelo OPT-1.3B usando otro conjunto de datos conocido como SuperGLUE. Usamos tanto los métodos MeZo como Adam para una comparación justa.

Nuestros resultados mostraron que, aunque ambos métodos funcionaron, MeZo tardó un poco más en mostrar mejoras en rendimiento. Este progreso más lento puede deberse a la forma en que MeZo estima cambios en comparación con los métodos tradicionales, que a menudo pueden mostrar resultados más rápidos. Sin embargo, la eficiencia de memoria de MeZo lo hizo adecuado para smartphones.

#Perspectivas de Uso de Memoria

Comparteos cuánto de memoria usaron cada método durante el ajuste. Descubrimos que, al usar un tamaño de lote pequeño, ambos métodos pudieron funcionar. Sin embargo, al aumentar el tamaño del lote, el método Adam se quedó sin memoria, mientras que MeZo no.

Esta característica ilustra cuán valioso puede ser MeZo para dispositivos móviles, donde la memoria a menudo es escasa. Los métodos tradicionales necesitan almacenar más datos, lo que causa problemas cuando se alcanzan los límites de memoria.

#Tiempo de Entrenamiento

En nuestras comparaciones de tiempo de entrenamiento, no vimos una gran diferencia entre MeZo y Adam en cuánto tiempo tomó cada paso en el OPPO Reno 6. Sin embargo, descubrimos que ajustar el modelo más grande OPT-1.3B tomó mucho más tiempo en comparación con RoBERTa-large.

Esta diferencia se esperaba ya que el modelo más grande tiene muchos más parámetros por ajustar. Nuestros resultados ilustran la brecha existente entre los dispositivos móviles y sistemas más grandes como las GPUs, que suelen usarse para este tipo de tareas.

#Conclusiones Importantes

Usar técnicas libres de derivadas abre nuevas puertas para ajustar grandes modelos directamente en smartphones. Nuestros tests indican que modelos como RoBERTa-large y OPT-1.3B pueden ser ajustados efectivamente en dispositivos con memoria limitada mientras mantienen la seguridad de los datos del usuario.

Sin embargo, vemos que aún hay mucho trabajo por hacer para aprovechar al máximo las capacidades de estos dispositivos móviles.

#Consideraciones Futuras

Aunque nuestros resultados son prometedores, los requisitos de memoria para ajustar LLMs aún superan lo que es práctico para muchas aplicaciones móviles. La mayoría de las apps móviles idealmente funcionan dentro de un límite de memoria de 1GB, y debemos esforzarnos por encontrar maneras de reducir las demandas de memoria.

Además, aunque los métodos libres de derivadas tienen algunas ventajas, también son menos eficientes para determinar los mejores ajustes del modelo. Esto significa que la investigación futura debería centrarse en encontrar mejores métodos libres de derivadas que puedan reducir el número de pasos necesarios para completar el ajuste.

#Adaptándose al Hardware

A pesar de que muchos smartphones ahora vienen equipados con unidades de procesamiento avanzadas, nuestros métodos deben utilizar mejor estas características. Aprovechar al máximo los procesadores potentes disponibles puede mejorar la velocidad y eficiencia del Ajuste del modelo.

Actualmente, nuestra implementación se ejecuta en un entorno simulado en lugar de en el dispositivo móvil en sí. Esta configuración puede limitar el rendimiento y no refleja verdaderamente cuán bien funcionarán los modelos en situaciones de uso normales.

Para medir mejor el rendimiento, es esencial construir aplicaciones que puedan aprovechar las capacidades de los marcos de AI móviles. Esto puede asegurar que los métodos de ajuste funcionen efectivamente en situaciones del mundo real.

#Conclusión

En conclusión, nuestro trabajo demuestra el potencial del ajuste en el dispositivo de grandes modelos de lenguaje en smartphones. Hemos mostrado que es posible ejecutar estos procesos mientras se mantiene la privacidad del usuario, dando pasos hacia modelos más personalizados.

Sin embargo, los desafíos relacionados con el uso de memoria, eficiencia y adaptación a las capacidades del hardware necesitan ser abordados en futuros esfuerzos. Con la investigación y el desarrollo continuos, podemos ayudar a que los dispositivos móviles alcancen su máximo potencial en el ámbito de la AI.