Abordando la detección de fuera de la distribución en el aprendizaje de múltiples instancias

En el mundo del aprendizaje automático, a menudo construimos sistemas que necesitan tomar decisiones basadas en datos, como clasificar imágenes o diagnosticar condiciones médicas. Un gran desafío surge cuando los datos que el sistema ve durante su aplicación en el mundo real son diferentes de los datos con los que fue entrenado. Esta situación se llama detección Fuera de distribución (OOD). Cuando un modelo se encuentra con datos OOD, puede que no produzca resultados precisos ya que no fue entrenado para entender esos datos desconocidos.

Tradicionalmente, se ha invertido mucho esfuerzo en lidiar con datos OOD en configuraciones de aprendizaje supervisado estándar. Sin embargo, manejar la detección OOD en un escenario más complejo conocido como Aprendizaje de Múltiples Instancias (MIL) sigue siendo menos explorado. En MIL, el modelo recibe grupos de imágenes o puntos de datos llamados "bolsas," donde no se conocen las etiquetas individuales para los puntos de datos, pero hay una sola etiqueta para toda la bolsa.

#El Reto de la Detección Fuera de Distribución

Los sistemas de aprendizaje automático generalmente esperan que los datos que procesan provengan del mismo patrón que los datos de entrenamiento, conocidos como datos dentro de distribución (ID). Cuando un modelo se encuentra con datos OOD, tiene que hacer conjeturas basadas en la información que tiene, lo que puede llevar a errores. Hay dos formas principales en las que la distribución puede cambiar de ID a OOD:

1. Cambio Semántico: Esto ocurre cuando las clases de los datos ID y OOD son completamente diferentes. Por ejemplo, si un modelo está entrenado para reconocer gatos y perros, pero luego ve imágenes de autos y aviones, esto sería un cambio semántico.

2. Cambio Covariado: Aquí, las clases pueden superponerse, pero la naturaleza de la entrada cambia. Por ejemplo, si un modelo entrenado en imágenes brillantes y bien iluminadas recibe imágenes oscuras o borrosas, podría luchar para desempeñarse con precisión incluso si las clases son las mismas.

Para trabajar efectivamente con estos modelos, necesitamos poder identificar cuándo los datos no están en el rango esperado, lo que hace que la detección OOD sea crucial.

#Cómo Funciona la Detección OOD

Se han propuesto muchos métodos para mejorar la detección OOD en diferentes escenarios. Estos métodos se pueden dividir en tres categorías principales:

1. Métodos de Inferencia Post-Hoc: Estos métodos utilizan modelos que ya han sido entrenados sin ninguna capacitación adicional para la detección OOD.

2. Métodos de Reentrenamiento: Estos requieren reentrenar el modelo en nuevos datos sin incluir muestras de datos OOD.

3. Nuevos Métodos de Entrenamiento: Estos crean procesos de entrenamiento completamente nuevos, que incluyen ejemplos OOD en el conjunto de entrenamiento.

La mayoría de los métodos se centran en calcular un "puntaje de confianza" basado en las salidas del modelo. Este puntaje ayuda a indicar si una muestra proviene de la distribución esperada o no. Algunos métodos analizan las salidas softmax o logits del modelo para hacer estas evaluaciones de confianza.

#Adaptando la Detección OOD para el Aprendizaje de Múltiples Instancias

El Aprendizaje de Múltiples Instancias (MIL) es un enfoque único que se utiliza a menudo para tareas donde los datos individuales no están etiquetados. MIL es útil en muchos campos, incluyendo la salud, donde un grupo de imágenes puede necesitar ser clasificado según la presencia de una característica particular, pero las imágenes individuales pueden estar sin etiquetar.

En MIL, un flujo de trabajo típico involucra tres componentes principales:

1. Embeber Instancias: Esta parte del sistema crea representaciones de menor dimensión de cada imagen individual.

2. Operador de Agrupación: Este combina las representaciones de todas las instancias en una bolsa en una sola representación.

3. Clasificador: Este genera un puntaje final para determinar a qué clase pertenece la bolsa, basado en la representación agrupada.

Con la detección OOD, es importante ajustar cómo producimos los puntajes de confianza para entender la estructura única de MIL. Los métodos tradicionales pueden no funcionar tan bien debido a la forma en que los datos están agrupados en bolsas.

#Creando un Nuevo Referente OOD para MIL

Para evaluar efectivamente los métodos de detección OOD en el contexto de MIL, los investigadores propusieron un nuevo referente. Esto implica usar conjuntos de datos comunes pero organizarlos en una forma adecuada para tareas de MIL. El objetivo es entender qué tan bien se desempeñan diferentes métodos cuando se encuentran con datos OOD bajo las condiciones específicas de MIL.

El referente incluye el uso de varios conjuntos de datos bien conocidos, donde las bolsas se forman muestreando diferentes instancias. Si una bolsa contiene al menos una instancia de una clase objetivo, se etiqueta como positiva; de lo contrario, es negativa.

Durante las pruebas, los investigadores analizaron diferentes conjuntos de datos incluyendo conjuntos simples de dígitos y imágenes más complejas de tejidos médicos. La configuración permitió una evaluación exhaustiva de múltiples métodos de detección OOD y su rendimiento al detectar si una bolsa de imágenes había sido etiquetada correctamente.

#Configuración Experimental y Resultados

Los experimentos estaban diseñados para probar cómo funcionaban varios métodos en la detección de muestras OOD dentro del contexto de MIL. Se evaluaron múltiples técnicas, incluyendo aquellas basadas en las salidas del clasificador en comparación con las que se basan en las representaciones agrupadas de las bolsas. Los diferentes conjuntos de datos proporcionaron resultados variados según el método aplicado.

Los hallazgos revelaron que ningún método OOD tiene una ventaja clara en todos los conjuntos de datos. Para algunos conjuntos de datos, los métodos basados en las salidas del clasificador mostraron mejor rendimiento mientras que otros se beneficiaron del uso de las representaciones agrupadas. Esta variabilidad enfatiza que no hay una solución única para la detección OOD en MIL.

La importancia del diseño de los embeddings y la configuración de entrenamiento inicial fue evidente en los resultados. Los experimentos indicaron que utilizar un emisor fijo, en comparación con uno que fue entrenado, tuvo un impacto directo en cuán bien el modelo manejó la detección OOD.

#Conclusión

Este estudio arroja luz sobre los desafíos y complejidades involucrados en la detección OOD dentro del ámbito del Aprendizaje de Múltiples Instancias. El desarrollo de un referente permite una mejor evaluación de varios métodos, pero también destaca la necesidad de enfoques más específicos que consideren los aspectos únicos de MIL. Los resultados subrayan la importancia de seleccionar el método adecuado basado en las características específicas de los conjuntos de datos y modelos que se utilizan.

De cara al futuro, hay una clara necesidad de técnicas innovadoras de detección OOD que se centren en la estructura única de MIL. Mejorar la fiabilidad de la detección OOD en entornos MIL es esencial no solo para mejorar el rendimiento de los modelos de aprendizaje automático, sino también para expandir sus aplicaciones en el mundo real, especialmente en campos críticos como la salud. La exploración continua de estos métodos marca un paso importante para abordar los desafíos que surgen en el aprendizaje automático cuando se enfrenta a diferentes distribuciones de datos.