Referencias de toda la vida: Un nuevo enfoque para la evaluación de modelos

En el campo del aprendizaje automático, los bancos de pruebas estandarizados han jugado un papel importante al medir qué tan bien funcionan diferentes modelos. Sin embargo, usar los mismos bancos de pruebas una y otra vez puede causar problemas. Con el tiempo, los modelos pueden sobreajustarse, lo que significa que rinden bien en el banco de pruebas pero tienen problemas con datos nuevos y no vistos. Para abordar este tema, proponemos un nuevo método llamado Bancos de Pruebas de por Vida, que consiste en actualizar continuamente grandes conjuntos de ejemplos de prueba. Este enfoque ayuda a mitigar el sobreajuste y asegura que los modelos de aprendizaje automático sigan siendo efectivos a medida que se evalúan en diferentes situaciones.

#¿Qué Son los Bancos de Pruebas de por Vida?

Los Bancos de Pruebas de por Vida son colecciones de muestras de prueba que crecen con el tiempo. Por ejemplo, hemos creado dos bancos de pruebas específicos: Lifelong-CIFAR10 y Lifelong-ImageNet. Cada uno de estos bancos incluye millones de muestras de prueba diseñadas para evaluar qué tan bien los modelos pueden clasificar imágenes en diferentes categorías. El objetivo es mantener un conjunto diverso y desafiante de muestras de prueba, evitando que los modelos se especialicen demasiado en un conjunto de datos en particular.

Mientras que esta estrategia ayuda a mantener la integridad de las evaluaciones, también introduce desafíos, especialmente los costos crecientes asociados con la evaluación de un número creciente de modelos contra un conjunto más grande de muestras. Para enfrentar este obstáculo, desarrollamos un método de evaluación eficiente conocido como Búsqueda Ordenada (SS).

#El Propósito de los Bancos de Pruebas de por Vida

El objetivo principal de los Bancos de Pruebas de por Vida es proporcionar una forma precisa de probar modelos de aprendizaje automático en tareas que son representativas del mundo visual. Los bancos de pruebas tradicionales, como CIFAR10, solo prueban un número limitado de categorías, como perros y gatos. Con el tiempo, a medida que se introducen más versiones o conjuntos de datos como CIFAR10.1 y CIFAR10.2, intentan agregar más complejidad.

Sin embargo, con evaluaciones repetidas, los bancos de pruebas pueden perder su efectividad e incluir sesgos que llevan al sobreajuste en los modelos. Este problema es común en la comunidad de aprendizaje automático, lo que lleva a la pregunta de qué deberían buscar lograr los bancos de pruebas.

#Desafíos con los Bancos de Pruebas Estáticos

Los bancos de pruebas estáticos pueden incentivar a los profesionales del aprendizaje automático a ajustar sus modelos solo para rendir bien en conjuntos de datos específicos, debilitando finalmente la capacidad de generalización de los modelos. Así, los Bancos de Pruebas de por Vida presentan una forma innovadora de crear muestras de prueba en constante expansión que resisten el sobreajuste mientras siguen siendo manejables en términos de computación.

Un desafío específico que surge con los Bancos de Pruebas de por Vida es el alto costo asociado con la evaluación de un número creciente de modelos contra un conjunto de muestras en expansión. Por ejemplo, evaluar todos los modelos en nuestro banco de pruebas Lifelong-CIFAR10 toma alrededor de 140 días de GPU, mientras que Lifelong-ImageNet lleva alrededor de 40 días de GPU. Esto plantea la pregunta: ¿cómo podemos evaluar modelos de manera eficiente mientras minimizamos los costos?

#El Marco de Búsqueda Ordenada

En respuesta a los desafíos del costo de evaluación, diseñamos el marco de Búsqueda Ordenada (SS). Inspirado en técnicas de pruebas adaptativas computarizadas, SS tiene como objetivo evaluar modelos sin necesidad de probar cada muestra. En su lugar, selecciona un subconjunto más pequeño de muestras según su nivel de dificultad.

El marco funciona primero clasificando las muestras de prueba según cuántos modelos las predicen correctamente. Luego, se selecciona de este orden clasificado, lo que permite una evaluación eficiente en nuevos modelos sin tener que volver a probar cada muestra cada vez.

Al utilizar este método, hemos logrado una impresionante reducción en los costos computacionales, de un promedio de 180 días de GPU a solo 5 horas de GPU. Esto representa un hito significativo en la evaluación eficiente de modelos de aprendizaje automático.

#Creando los Bancos de Pruebas de por Vida

Basamos nuestros Bancos de Pruebas de por Vida en conjuntos de datos ampliamente aceptados: CIFAR10 e ImageNet. Estos conjuntos de datos específicos fueron elegidos por varias razones: se utilizan comúnmente en investigaciones previas, abarcan una variedad de modelos y ofrecen numerosas variantes que incluyen las mismas categorías mientras introducen cambios de distribución.

Para Lifelong-CIFAR10, agrupamos datos de 22 conjuntos de datos diferentes similares a CIFAR10, aplicando varios cambios de distribución. En el caso de Lifelong-ImageNet, obtuvimos muestras de ImageNet y sus variantes, asegurando una rica diversidad de entradas.

El resultado final es que nuestro Lifelong-CIFAR10 contiene 1.69 millones de muestras, mientras que Lifelong-ImageNet incorpora 1.98 millones de muestras.

#El Proceso de Evaluación

Con nuestros Bancos de Pruebas de por Vida establecidos, enfrentamos el desafío de evaluar modelos en una base de datos en continuo crecimiento. Utilizamos el marco SS para facilitar este proceso al estimar eficientemente cómo rinden los modelos en nuevas muestras.

Para cada nuevo modelo que queremos evaluar, en vez de probarlo contra todas las muestras disponibles, podemos seleccionar un subconjunto de muestras que seguramente proporcionen información significativa sobre el rendimiento del modelo. Este método nos permite disminuir significativamente el tiempo y los recursos necesarios para la evaluación.

#Ventajas de la Evaluación Eficiente

Los importantes ahorros de costos logrados a través del marco SS demuestran su potencial como una herramienta poderosa para evaluaciones continuas en aprendizaje automático.

Nuestros experimentos involucraron más de 31,000 modelos, mostrando la eficiencia y precisión de nuestro método. El enfoque permite a los investigadores mantener sus bancos de pruebas frescos y útiles, mientras también aseguran que los modelos sigan siendo efectivos y capaces de generalizar a nuevos datos.

Además, el marco SS ayuda a abordar el problema del "agotamiento de bancos de pruebas". Al actualizar continuamente el banco de pruebas con nuevas muestras y evaluar modelos de manera eficiente, podemos mantener el proceso de evaluación relevante y útil.

#El Futuro de los Bancos de Pruebas de por Vida

Los Bancos de Pruebas de por Vida ofrecen un camino prometedor para mejorar la evaluación de modelos en aprendizaje automático, y nuestro marco SS es solo el comienzo.

A medida que el campo sigue evolucionando, es crucial mantener la integridad de las evaluaciones y asegurar que los modelos sigan siendo útiles en aplicaciones prácticas.

Promoviendo un proceso de evaluación dinámico y continuo, podemos fomentar una comprensión más robusta de cómo rinden los modelos en escenarios del mundo real, minimizando el riesgo de sobreajuste.

#Conclusión

En conclusión, los Bancos de Pruebas de por Vida representan una solución innovadora y efectiva a los desafíos planteados por los bancos de pruebas estáticos en aprendizaje automático. Al evolucionar continuamente estos bancos de pruebas y evaluar modelos de manera eficiente con el marco SS, podemos asegurar que el aprendizaje automático siga siendo una herramienta poderosa para abordar problemas complejos.

Nuestra visión es empujar los límites de lo que es alcanzable en la evaluación de modelos y contribuir al desarrollo continuo del aprendizaje automático de manera que beneficie a toda la comunidad de investigación. Con este enfoque, esperamos presenciar los futuros avances en el campo.