Evaluando el rendimiento de CPU y GPU en el aprendizaje profundo

En los últimos años, el uso de deep learning y machine learning ha crecido a mil por hora. Con la cantidad de datos disponibles en Internet, estas tecnologías pueden encontrar información y conocimientos valiosos. Muchas herramientas y frameworks de código abierto, como TensorFlow y PyTorch, hacen que aplicar estos algoritmos sea más fácil. Al usar estos frameworks, podemos seguir cómo se realizan las tareas tanto en CPUS (Unidades de Procesamiento Central) como en GPUs (Unidades de Procesamiento Gráfico) para ver cómo utilizan recursos como el tiempo y la memoria.

#¿Qué son CPU y GPU?

Las CPUs y GPUs son componentes de la computadora que ayudan a realizar diferentes tareas. La CPU es la parte principal de una computadora que maneja la mayoría de las operaciones. Está diseñada para manejar tareas en secuencia, pero no realiza cálculos en paralelo de manera tan eficiente. Por otro lado, las GPUs están diseñadas para realizar muchos cálculos al mismo tiempo, lo que las hace ideales para tareas que requieren muchas computaciones, como entrenar modelos de deep learning.

#Importancia de la GPU en Deep Learning

Al trabajar con grandes conjuntos de datos, usar una GPU se vuelve necesario para entrenar redes de deep learning. Una CPU típica tiene un número limitado de núcleos, alrededor de 4 a 5. Cada núcleo puede manejar un número limitado de tareas a la vez. Sin embargo, una GPU tiene miles de núcleos más pequeños, lo que le permite realizar muchas tareas en paralelo. Por ejemplo, una GPU potente como la NVIDIA A6000 tiene más de 10,000 núcleos, haciéndola mucho más adecuada para tareas de deep learning que requieren computaciones rápidas.

#Enfoque de la Investigación

El objetivo de la investigación es analizar cómo la CPU y la GPU realizan operaciones matemáticas mientras entrenan modelos de machine learning. Al analizar su uso de tiempo y memoria, podemos encontrar formas de mejorar la eficiencia del entrenamiento de redes de deep learning. El estudio utilizará PyTorch y su API Profiler para rastrear el rendimiento y visualizar operaciones, ayudándonos a comparar el uso de recursos de CPU y GPU.

#Trabajos Previos

Muchos investigadores han comparado el rendimiento de CPU y GPU en diferentes algoritmos y tareas. Han documentado estrategias para perfilar el rendimiento de ambas operaciones. Algunos estudios enfatizan cómo identificar las causas principales de problemas de rendimiento y cómo optimizar la memoria de la GPU para grandes conjuntos de datos, mientras que otros se centran en el perfilado de software flexible para diferentes arquitecturas de GPU.

#Términos Clave

Para entender mejor la investigación, aquí algunos términos clave:

• Red Neuronal: Un grupo de nodos conectados que procesan datos para producir una salida.
• CPU: La parte principal de una computadora que realiza tareas.
• GPU: Un componente diseñado para computación en paralelo que acelera tareas como la representación gráfica y el procesamiento de datos.
• CUDA: Una plataforma que permite que los programas se ejecuten en GPUs.
• Profiler: Una herramienta para medir y analizar qué tan bien se desempeña un programa en cuanto a uso de tiempo y memoria.
• Asignación de Memoria: Asignar memoria de computadora para ejecutar programas.

#Cómo Trabajan Juntas CPU y GPU

La tarea de la CPU es ejecutar tareas una tras otra, lo cual es genial para cálculos generales. Sin embargo, cuando se trata de deep learning, la carga de trabajo a menudo requiere que se realicen muchos cálculos al mismo tiempo. Ahí es donde la GPU es útil, ya que puede manejar numerosas tareas simultáneamente.

En escenarios típicos de deep learning, tanto la CPU como la GPU tienen roles esenciales. La CPU se encarga de cargar datos y manejar tareas generales, mientras que la GPU realiza el trabajo pesado en cálculos, especialmente durante el entrenamiento de redes neuronales profundas.

#Configuración del Experimento

En esta investigación, montamos un experimento para ver cuántos recursos usa cada unidad de procesamiento (CPU y GPU) al entrenar un modelo de deep learning. Usamos una Red Neuronal Convolucional (CNN) para clasificar imágenes de gatos y perros. El conjunto de datos se obtuvo de Kaggle, que ofrece recursos gratuitos y abiertos. Se empleó un modelo preentrenado llamado DenseNet121 y modificamos las últimas capas de la red para adaptarlo a nuestro conjunto de datos. El experimento se ejecutó en una máquina con hardware potente:

• Sistema Operativo: Windows 11 x64
• CPU: Intel Xeon Gold 6256
• GPU: Dos unidades NVIDIA A6000
• RAM Total: 512 GB
• Disco: 8 TB SSD

#Detalles del Experimento

Para la red neuronal, usamos un total de 8005 imágenes para entrenamiento y 2023 imágenes para pruebas. El modelo se entrenó durante 20 épocas, utilizando diferentes tamaños de lote y tasas de aprendizaje para obtener los mejores resultados.

#Resultados y Discusión

#Utilización de Entrenamiento y Memoria

Al principio, con un tamaño de lote de 64, las GPUs mostraron un uso mínimo, tomando solo 3% en una y 14% en la otra. La CPU estaba ocupada con un consumo de recursos de aproximadamente 62%. Al aumentar el tamaño del lote a 128, vimos una mejor utilización de las GPUs, con una usando el 69% de su memoria mientras la otra usaba el 14%.

Para la CPU, la utilización de recursos se mantuvo alrededor del 60-63%, con un total de 307 procesos y 5410 hilos en ejecución. La carga de datos fue manejada principalmente por la CPU, y se observó que el tiempo de entrenamiento fue significativamente más largo al usar solo la CPU en comparación con la GPU.

#Acceso y Utilización de Memoria

La utilización de memoria mejoró significativamente con el tamaño de lote más alto en la GPU. Para un tamaño de lote de 64, una GPU usó alrededor de 3.4 GB de su memoria de 48 GB, mientras que la otra usó alrededor de 2.2 GB. En cambio, cuando se aumentó el tamaño del lote a 128, una GPU utilizó alrededor de 5 GB y la otra 1.7 GB. Este cambio indica que procesar lotes más grandes puede llevar a un mejor uso de memoria en GPUs.

En contraste, el consumo de memoria en la CPU no cambió mucho, permaneciendo alrededor de 32 GB de los 512 GB totales.

#Monitoreo de Temperatura y Uso de Energía

También rastreamos la temperatura y el uso de energía de la CPU y las GPUs durante el entrenamiento. Durante el entrenamiento con un tamaño de lote de 64, las temperaturas de las GPUs se mantuvieron normales, con una alcanzando hasta 59 grados Celsius y la otra 38 grados Celsius. Para un tamaño de lote de 128, las temperaturas subieron a 69 grados Celsius y 41 grados Celsius, respectivamente. El consumo de energía para las GPUs también se monitoreó, mostrando que la primera GPU usó 152 W de un total de 300 W, mientras que la segunda solo usó 23 W.

Las temperaturas de la CPU oscilaron entre 60 y 70 grados Celsius sin importar el tamaño del lote, indicando que mantuvo un rendimiento estable durante todo el proceso.

#Comparación del Tiempo de Entrenamiento

Los tiempos de entrenamiento mostraron una diferencia significativa entre la CPU y la GPU. Entrenar el modelo CNN en la CPU tomó alrededor de 13 horas, en comparación con solo 2 horas en la GPU con un tamaño de lote de 64. Curiosamente, la precisión en las pruebas se mantuvo alta, alrededor del 99% para ambas configuraciones, mostrando que la GPU no solo acelera el proceso de entrenamiento, sino que lo hace sin sacrificar rendimiento.

#Tiempo de Inferencia

Al evaluar cuánto tiempo tomó probar el modelo entrenado, la GPU superó a la CPU. Probar una imagen tomó alrededor de 5 segundos en la CPU, pero solo de 2 a 3 segundos en la GPU. Esto muestra la efectividad de la GPU para acelerar el proceso de inferencia también.

#Conclusión

Este estudio destacó el impacto de usar CPU y GPU para entrenar modelos de deep learning, mostrando que las GPUs reducen significativamente los tiempos de entrenamiento y mejoran la utilización de recursos. Los resultados indican que, con una buena gestión y configuración de recursos para tamaños de lote y tasas de aprendizaje, podemos hacer que las tareas de deep learning sean más eficientes. El estudio enfatiza la importancia de monitorear el rendimiento de CPU y GPU para optimizar los procesos de entrenamiento e inferencia en general, asegurando que el modelo pueda aprovechar los beneficios de ambas unidades de procesamiento.