Abordando el sesgo de selección de muestras en el aprendizaje automático

En muchas situaciones, los modelos de aprendizaje automático dependen de datos para entrenarse. Si esos datos no se eligen al azar, el modelo puede fallar. Esta situación se conoce como Sesgo de selección de muestra, y puede llevar a conclusiones incorrectas. Un tipo de este sesgo es cuando faltan algunas etiquetas para ciertos puntos de datos, y esas etiquetas faltantes no son aleatorias. Esto se llama faltantes-no-al-azar (MNAR).

Existen muchos métodos para crear modelos que manejan el sesgo de selección de muestra. Sin embargo, la mayoría se enfoca en situaciones donde los datos faltan al azar o no manejan eficazmente casos como MNAR. En este artículo, vamos a hablar sobre un nuevo método llamado BiasCorr. Este método busca mejorar cómo los clasificadores aprenden de los datos cuando faltan algunas etiquetas que no son al azar.

#Entendiendo el Problema

Al construir un modelo de aprendizaje automático, se espera que los datos usados para el entrenamiento y la prueba provengan de la misma fuente. Esto a menudo se llama independiente y distribuidos idénticamente (IID). Sin embargo, en la vida real, esta suposición se rompe con frecuencia. Por ejemplo, si un modelo se entrena con datos muestreados de un grupo específico pero se prueba en un rango más amplio, puede que no funcione bien. Este cambio puede ocurrir por muchas razones, como la forma en que se seleccionan los datos para el entrenamiento.

El sesgo de selección de muestra ocurre cuando los datos usados para el entrenamiento no son representativos de la población general. Esto puede suceder cuando solo se eligen ejemplos específicos en lugar de una muestra aleatoria. Como resultado, el modelo entrenado con estos datos sesgados puede no generalizarse bien a otros datos no sesgados.

Una situación aún más complicada surge cuando faltan etiquetas para algunos ejemplos de entrenamiento y su ausencia está relacionada con las etiquetas reales. En términos simples, si podemos predecir que los estudiantes que no declararon sus majors también tienen niveles de logro que no se recogen, eso crea una relación no aleatoria entre los datos faltantes y las etiquetas. Este tipo de ausencia de datos puede llevar a modelos defectuosos, ya que los valores faltantes no son solo huecos aleatorios, sino que están influenciados por ciertos factores.

#Métodos Anteriores

Antes de introducir BiasCorr, varios métodos intentaron corregir el sesgo de selección de muestra. Un enfoque popular es el método de Heckman, que estima cómo los datos faltantes afectan los resultados utilizando un proceso de dos pasos. Este método funciona bien para modelos lineales pero tiene problemas con tareas de clasificación donde los datos pueden no encajar en una línea recta (lineal). Otros métodos se han centrado en situaciones de faltantes-al-azar (MAR), donde la ausencia de datos es independiente de la etiqueta al controlar por datos observados. Desafortunadamente, estos métodos no resuelven eficazmente problemas con el sesgo MNAR.

El método de Greene es otro enfoque que estima la relación entre el ruido en los datos y cómo influye en las predicciones. Intenta tener en cuenta los datos faltantes al hacer predicciones. Sin embargo, al integrar el método de Greene con clasificadores, surgen problemas. No toma en cuenta las etiquetas faltantes de forma efectiva, lo que lleva a desafíos para aprender de los datos con precisión.

#Introduciendo BiasCorr

BiasCorr es un nuevo marco diseñado específicamente para aprender clasificadores que son robustos contra el sesgo de selección de muestra MNAR. Este método funciona modificando el conjunto de datos de entrenamiento sesgado para ayudar al clasificador a aprender de los datos, incluso cuando faltan algunas etiquetas.

La idea clave detrás de BiasCorr es usar la información disponible en las características de los registros con etiquetas faltantes. Al realizar dos procesos de entrenamiento separados, un clasificador predice las etiquetas faltantes con lo que llamamos pseudolabels, mientras que el otro estima un valor de selección suave para cada muestra. Esto permite que el modelo aproveche la mayor cantidad de información posible, incluso cuando faltan algunos datos.

#Creando Pseudolabels

El primer paso en BiasCorr implica crear pseudolabels para las muestras que tienen etiquetas faltantes. Esto se hace entrenando un clasificador con las muestras donde las etiquetas están completamente observadas. Este clasificador hace predicciones sobre lo que podrían ser las etiquetas faltantes basándose en las características existentes.

#Estimando Valores de Selección Suave

El siguiente paso implica estimar los valores de selección suave para las muestras. Estos valores ayudan al modelo a ponderar la importancia de cada muestra según cuán probable sea que hayan tenido sus etiquetas observadas. Un clasificador se entrena con las características seleccionadas para predecir estos valores de selección suave, dando más peso a las muestras que son más seguras de contribuir con información útil.

#Ventajas de BiasCorr

La principal ventaja de BiasCorr es su capacidad para lidiar con el complicado desafío del sesgo de selección de muestra MNAR. Al combinar las predicciones de dos clasificadores diferentes, BiasCorr puede crear una imagen más completa de los datos, lo que ayuda a mejorar la precisión del modelo.

#Garantías Teóricas

BiasCorr no solo es una mejora en la práctica; también tiene respaldo teórico. Una comparación con el método de Greene revela que BiasCorr puede lograr un menor sesgo en la estimación del rendimiento del clasificador cuando hay una alta proporción de datos no etiquetados. Esto sugiere que BiasCorr podría ser más confiable en escenarios del mundo real donde los datos no están perfectamente controlados.

#Experimentos en Conjuntos de Datos del Mundo Real

Para validar la efectividad de BiasCorr, se realizaron experimentos en varios conjuntos de datos del mundo real. Estos conjuntos de datos incluían tanto datos etiquetados como no etiquetados, lo que permitió una prueba rigurosa del marco.

#Preparación de Datos

Para los experimentos, se eligieron conjuntos de datos específicos, incluyendo datos demográficos y otras características relacionadas con las predicciones. La meta era ver cuán bien se desempeñaba BiasCorr en comparación con métodos existentes.

En preparación, los conjuntos de datos se modificaron para introducir sesgo de selección de muestra. Se utilizaron diferentes criterios para decidir qué muestras tendrían etiquetas faltantes, simulando condiciones del mundo real donde la recolección de datos puede estar sesgada.

#Comparaciones Base

El rendimiento de BiasCorr se comparó con varios métodos de referencia, incluyendo aquellos que no tienen en cuenta el sesgo de selección y aquellos que sí. Esto proporcionó una imagen clara de cuán bien funcionó BiasCorr bajo diversas condiciones.

#Resultados

Los resultados de los experimentos mostraron que BiasCorr superó consistentemente a los métodos base. En muchos casos, BiasCorr arrojó mayor precisión en las predicciones que los enfoques tradicionales. Incluso cuando había desafíos por etiquetas faltantes, BiasCorr logró producir clasificaciones fiables.

#Conclusión

En resumen, BiasCorr proporciona una nueva forma robusta de manejar el sesgo de selección de muestra, especialmente en escenarios donde faltan etiquetas no al azar. Al aprovechar dos clasificadores, uno para predecir etiquetas faltantes y otro para estimar importancia, este método mejora la capacidad de los modelos de aprendizaje automático para generalizar a partir de datos sesgados.

El marco no solo muestra promesas en los experimentos, sino que también está respaldado por análisis teóricos, posicionándolo como un paso significativo hacia adelante en la solución de los complejos desafíos del sesgo de datos en el aprendizaje automático.

El trabajo futuro podría explorar extender BiasCorr a otros modelos y conjuntos de datos más variados, lo que podría llevar a incluso mayores mejoras en rendimiento y precisión frente a datos faltantes y sesgados.