Cattleia: Una herramienta para analizar modelos en conjunto en AutoML

En muchos casos, combinar diferentes modelos predictivos, un proceso llamado ensamblaje de modelos, lleva a mejores resultados que usar un solo modelo. Esta técnica se usa bastante en Aprendizaje Automático Automatizado (AutoML). Sin embargo, los frameworks de AutoML más populares tienden a crear ensamblajes que son difíciles de entender. Este documento presenta cattleia, una aplicación diseñada para aclarar los ensamblajes en tareas como regresión, clasificación multiclase y clasificación binaria. Cattleia trabaja con modelos creados usando tres paquetes de AutoML: auto-sklearn, AutoGluon y FLAML.

Cattleia analiza el ensamblaje dado desde múltiples ángulos. Investiga qué tan bien funciona el ensamblaje al ver varias Métricas de evaluación relacionadas tanto con el ensamblaje como con sus modelos individuales. Además, introduce nuevas medidas para evaluar cuán diversos y complementarios son los modelos en sus predicciones. Para entender cuán importantes son diferentes variables, la herramienta utiliza técnicas de inteligencia artificial explicable (XAI). Resumiendo estos conocimientos, los usuarios pueden ajustar los pesos de los modelos en el ensamblaje para optimizar su rendimiento. La aplicación cuenta con visualizaciones interactivas, haciéndola fácil de usar para una amplia audiencia.

Creemos que cattleia puede ayudar a los usuarios a tomar decisiones informadas y profundizar su conocimiento de los frameworks de AutoML. En muchas tareas de aprendizaje automático, el objetivo es desarrollar modelos precisos, confiables y generales. Los ensamblajes de modelos predictivos han demostrado ser particularmente efectivos para alcanzar estos objetivos. Por esta razón, se suelen incluir en paquetes de AutoML que buscan producir los mejores modelos posibles.

La efectividad de un ensamblaje depende en gran medida de la diversidad de modelos incluidos en él. Al seleccionar modelos que proporcionan predicciones diferentes, el ensamblaje puede lograr mayor flexibilidad y generalización. Idealmente, deberían incluirse diferentes algoritmos con hiperparámetros variados para fomentar esta diversidad. Hay varias formas de crear modelos diversos, como enfoques iterativos o métodos de poda, junto con técnicas básicas como boosting, bagging y stacking.

Aunque los métodos de ensamblaje son poderosos, aún quedan preguntas sobre si es posible mejorar los resultados sin sacrificar la entendibilidad del modelo. Es importante entender la importancia de la diversidad del modelo y cómo se relacionan entre sí. El creciente interés en el aprendizaje automático explicable sugiere que hay una necesidad de apoyar el proceso de toma de decisiones, mejorar la confianza en los modelos de AutoML y utilizarlos efectivamente.

La mayoría de las herramientas y visualizaciones disponibles hoy en día se centran en procesos posteriores a la modelación, prestando menos atención a la clasificación de los modelos de ensamblaje. Este documento presenta cattleia, que significa Herramienta Compleja Accesible y Transparente para Aprender Ensamblajes en AutoML. Cattleia busca cerrar estas brechas y contribuir a la comprensión de las explicaciones de AutoML. La herramienta se desarrolla usando el framework web Dash y mejora la interpretabilidad del modelo al ofrecer nuevas soluciones para analizar ensamblajes.

Cattleia es compatible con tres importantes paquetes de AutoML: AutoGluon, auto-sklearn y FLAML. La aplicación proporciona análisis desde cuatro perspectivas distintas: métricas que evalúan modelos individuales y el ensamblaje en sí, compatimétricas que evalúan las relaciones entre modelos, pesos asignados a modelos específicos en el ensamblaje, y métodos de XAI que evalúan la importancia de las variables.

El análisis puede mirar todo el ensamblaje o enfocarse en pares de modelos, modelos individuales, variables específicas y observaciones particulares. Esta herramienta apoya a los científicos de datos en interactuar con frameworks de AutoML establecidos mientras ofrece visualizaciones y métricas que facilitan la curva de aprendizaje para explorar soluciones de AutoML.

#Herramientas Relacionadas

Los frameworks de AutoML existentes muestran el rendimiento de los modelos de diferentes formas, lo que dificulta las comparaciones y requiere mejoras. Se han desarrollado varias herramientas para abordar este problema, centrándose principalmente en el proceso de creación del modelo en los frameworks de AutoML.

Una de estas herramientas es ATMSeer, que ayuda a monitorear un proceso de AutoML en curso. Permite a los usuarios analizar los modelos que se están buscando y refinar el espacio de búsqueda en tiempo real a través de visualizaciones.

Otra herramienta de visualización interactiva es PipelineProfiler, que está integrada con Jupyter Notebook. Ayuda a los usuarios a explorar y comparar las tuberías de aprendizaje automático generadas por diferentes sistemas de AutoML, presentando la información en un formato de matriz que resume la estructura y el rendimiento.

XAutoML también es una herramienta de análisis visual interactivo que aborda las necesidades de un grupo de usuarios diverso. Permite a los usuarios comparar tuberías, analizar el proceso de optimización, inspeccionar modelos individuales y evaluar ensamblajes. Esta herramienta se integra con JupyterLab para una experiencia ágil e incluye una visualización de la importancia de los hiperparámetros.

AutoAIViz es un sistema destinado a visualizar el proceso de generación de modelos en AutoML. Proporciona sobreviews en tiempo real de las tuberías y detalles en cada paso del proceso.

DeepCAVE es un marco interactivo para analizar y monitorear la optimización de AutoML. Ofrece una app para visualización y análisis en tiempo real a través de varios dominios, incluyendo análisis de rendimiento y evaluación de hiperparámetros.

Aunque se han publicado muchos estudios sobre las explicaciones de los modelos de AutoML, la mayoría se ha centrado en la fase de construcción del modelo. Se necesitan más herramientas para una evaluación integral de los resultados de los modelos construidos y comparaciones de rendimiento de los modelos usados en ensamblajes.

Cattleia se presenta como una aplicación que analiza ensamblajes de modelos creados por paquetes populares de AutoML en Python. Está disponible en GitHub como un proyecto de código abierto.

Cattleia genera visualizaciones usando la biblioteca Plotly, lo que permite características interactivas como zoom y filtrado. La aplicación realiza análisis sobre modelos preentrenados sin necesidad de entrenarlos desde cero, asegurando un rendimiento fluido. Una de sus características clave es la personalización, permitiendo a los usuarios añadir nuevas métricas y paquetes según sea necesario.

#Interfaz de la Aplicación

La interfaz de la aplicación cattleia está organizada en cuatro pestañas relacionadas con diferentes aspectos del análisis de ensamblajes. La barra lateral izquierda incluye instrucciones y una sección para subir el ensamblaje que se está examinando.

La aplicación también incluye una guía instructiva seleccionable por el usuario, que explica cómo usar la herramienta efectivamente. Los usuarios deben proporcionar tanto los datos como el modelo creado con los paquetes de AutoML soportados, guardándolo en un formato especificado. La función de anotaciones puede mostrar descripciones útiles para interpretar las visualizaciones. Una vez que se suben los elementos necesarios, el usuario se presenta con un panel de control interactivo.

Las pestañas disponibles representan varios ámbitos del análisis de ensamblajes:

#Pestaña de Métricas

La pestaña de métricas incluye una comparación de métricas de evaluación tanto para los modelos componentes como para el ensamblaje. Dependiendo de si el modelo aborda un problema de clasificación o regresión, se muestran métricas y gráficos correspondientes. Además, esta pestaña incluye una matriz de correlación de las predicciones de cada modelo, junto con un gráfico que compara las predicciones individuales con los valores objetivos reales.

#Pestaña de Compatimétricas

La pestaña de compatimétricas evalúa la similitud y el rendimiento conjunto de los modelos en el ensamblaje. Introduce nuevas medidas de compatibilidad de modelos basadas en heurísticas simples y métricas de evaluación, permitiendo un análisis más profundo para descubrir patrones ocultos entre los modelos e identificar grupos que funcionan bien juntos.

#Pestaña de Análisis de Pesos

Esta pestaña examina cuánto contribuye cada modelo componente a la puntuación general del ensamblaje. Diseñada específicamente para AutoGluon y auto-sklearn, utiliza controles deslizantes interactivos que permiten a los usuarios ajustar la influencia de modelos específicos en las predicciones. Esta función permite a los usuarios ver cómo cambian las métricas con varios pesos personalizados.

#Pestaña de XAI

La pestaña de XAI evalúa la importancia de las variables en modelos individuales. Los métodos utilizados son agnósticos al modelo, lo que significa que se pueden aplicar en varios modelos. Los gráficos muestran cuán importantes son diferentes características y muestran cómo los cambios en los valores de las variables afectan las predicciones.

#Casos de Uso

Cattleia es una herramienta valiosa para los científicos de datos en sus tareas diarias. Hay una clara demanda de herramientas que expliquen los ensamblajes de modelos. Cattleia solo requiere datos y un ensamblaje preentrenado, proporcionando un panel de control integral para los usuarios. Las siguientes secciones describen diferentes situaciones que los usuarios pueden encontrar y proponen soluciones dentro de la aplicación cattleia, junto con ejemplos reales de análisis obtenidos de la aplicación.

#Evaluación de Modelos Componentes

#Problema

Los ensamblajes a menudo consisten en modelos con diferentes niveles de rendimiento. Incluir modelos menos efectivos puede ayudar a capturar ciertos patrones de predicción de muestras de datos complejas. Es vital comparar el rendimiento de los modelos en Conjuntos de entrenamiento y prueba para asegurarse de que puedan generalizar efectivamente a datos no vistos.

#Solución

Los usuarios pueden examinar fácilmente el rendimiento de cada modelo componente y del ensamblaje en su conjunto a través de la pestaña de métricas de evaluación. Esta pestaña ofrece medidas de clasificación y regresión que permiten un análisis exhaustivo de la calidad de cada modelo. La matriz de comparación de predicciones ayuda a identificar qué modelos luchan con puntos de datos específicos pero pueden destacar en áreas particulares.

#Examinando la Diversidad del Modelo

#Problema

Crear ensamblajes fuertes requiere incluir modelos que proporcionen predicciones variadas. Este aspecto es esencial, ya que los modelos diversos pueden aprovechar sus fortalezas individuales en observaciones de datos específicas. Evaluar la similitud del modelo requiere medidas especiales para compararlos efectivamente.

#Solución

La pestaña de compatimétricas analiza qué tan similares son las predicciones de los modelos, proporcionando información sobre su compatibilidad. Usando diversas medidas, los usuarios pueden identificar grupos de modelos que funcionan bien juntos o aquellos que pueden perjudicar las predicciones generales.

#Abordar Datos Sensibles

#Problema

La equidad es crítica en muchas aplicaciones de aprendizaje automático. Los algoritmos no deben discriminar contra ciertos grupos. Entender cómo se comportan los modelos antes de implementarlos es esencial para evitar problemas potenciales.

#Solución

Usando técnicas de XAI, cattleia permite a los usuarios evaluar cuán importantes son variables específicas para modelos individuales. Al analizar la importancia de las características y los gráficos de dependencia parcial, los usuarios pueden determinar cómo cada variable impacta las predicciones del modelo, permitiendo ajustes para mitigar comportamientos injustos.

#Ajustando Pesos

#Problema

Asignar pesos a las predicciones del modelo es crucial para derivar la salida final de un ensamblaje. Los pesos determinan cuánta influencia tiene cada modelo en el rendimiento general, lo que hace que el análisis de la distribución de pesos sea esencial.

#Solución

La herramienta de modificación de pesos permite a los usuarios explorar y ajustar la asignación de pesos entre los modelos en un ensamblaje. Permite probar el impacto de tales ajustes en el rendimiento sin necesidad de volver a entrenar los modelos.

#Resumen de Casos de Uso

El análisis de casos de uso en la vida real demuestra que cattleia puede mejorar la comprensión de los usuarios sobre los modelos de ensamblaje. La aplicación permite una examinación más cercana de cómo se construyen los ensamblajes, el rendimiento de los modelos individuales y la influencia de varios factores en las predicciones finales.

Cattleia desalienta la dependencia de modelos sin una comprensión clara de su funcionamiento. Esta herramienta ofrece una mirada profunda a los ensamblajes entrenados usando paquetes de AutoML, proporcionando una justificación clara para la planificación en escenarios del mundo real, lo cual es esencial al utilizar inteligencia artificial.

A pesar de sus muchas características, cattleia no está exenta de limitaciones. Una limitación importante es el número de frameworks que se soportan actualmente. Cattleia trabaja con tres frameworks populares, pero los planes futuros incluyen el mantenimiento y soporte para nuevos paquetes de AutoML. Análisis mejorados, opciones de visualización adicionales y la expansión de definiciones de compatimétricas son otros objetivos para el desarrollo futuro.

#Impacto Más Amplio

Cattleia es una herramienta versátil que se puede aplicar en diversas áreas donde se utilizan modelos de aprendizaje automático supervisado. Su objetivo principal es aclarar los modelos de ensamblaje creados por frameworks de AutoML, ayudando a los usuarios a entender decisiones individuales y los modelos detrás de ellas.

La herramienta puede mejorar la transparencia en aplicaciones críticas, como medicina y finanzas, al examinar los ensamblajes y sus modelos base. Este examen puede ayudar a abordar problemas de equidad e identificar relaciones no deseadas en los comités, llevando a modelos más confiables.

Al mismo tiempo, es importante recordar que usar un panel como cattleia sin suficiente conocimiento del dominio puede tener consecuencias negativas. Malentender ciertos métodos puede llevar a suposiciones incorrectas sobre los ensamblajes y sus salidas. Sin embargo, al proporcionar anotaciones claras vinculadas a las visualizaciones, cattleia permite a los usuarios interactuar con los resultados de manera significativa y precisa.

#Conclusión

Cattleia se presenta como un recurso vital para los usuarios que buscan entender las complejidades de los modelos de ensamblaje en AutoML. Su interfaz fácil de usar, junto con una amplia gama de análisis, empodera a los científicos de datos para tomar decisiones informadas basadas en datos. A medida que el campo de AutoML sigue creciendo, herramientas como cattleia serán esenciales para abordar la creciente demanda de interpretabilidad, transparencia y confiabilidad en el aprendizaje automático.