Integrando la opinión de los interesados en el desarrollo de aprendizaje automático

El aprendizaje automático (ML) está tomando más protagonismo en nuestras vidas, afectando a muchas personas de varias maneras. A medida que estos sistemas crecen, es importante pensar en cómo se recoge y se utiliza la retroalimentación de aquellos que usarán o serán impactados por estos sistemas. Este texto habla de cómo hacer un seguimiento de esa retroalimentación e integrarla en el desarrollo de modelos de ML.

#La Importancia de la Retroalimentación de los Interesados

Los interesados son personas que se ven afectadas por los modelos de ML o que participan en su creación. Sus puntos de vista son clave, pero muchas veces no se toman en cuenta lo suficiente. Quienes construyen y gestionan estos modelos, como ingenieros y científicos de datos, a veces pasan por alto las opiniones y preocupaciones de los interesados. Esto puede crear huecos en el proceso de desarrollo del modelo.

Cuando los interesados dan su opinión sobre lo que necesitan o ven como vital, puede ayudar a crear modelos mejores que cumplan con los requisitos y expectativas de los usuarios. Por eso, documentar cómo se recoge la retroalimentación y cómo cambia el pipeline -el proceso desde la recolección de datos hasta el despliegue del modelo- es fundamental. Esta documentación permite a los involucrados explicar por qué se tomaron ciertas decisiones, facilitando el cumplimiento de las normas y la transparencia.

#Prácticas Actuales de Documentación

La mayoría de la documentación existente se enfoca en ofrecer una instantánea del modelo en un momento específico. Ejemplos de estas herramientas incluyen las Model Cards, que brindan información sobre cómo se construyó un modelo, y los FactSheets, que detallan las fases de desarrollo del modelo. Sin embargo, estos documentos no capturan el proceso continuo de interacción con los interesados y los ajustes en los modelos basados en su retroalimentación.

#Introduciendo un Nuevo Enfoque

Proponemos un método estructurado para registrar y utilizar la retroalimentación de los interesados durante el desarrollo de modelos de ML. Este método documenta cada paso de la recolección y aplicación de retroalimentación, resultando en un registro más dinámico que muestra cómo evoluciona un modelo con el tiempo.

#Componentes de la Nueva Documentación

Sugerimos usar una plantilla que consista en tres partes principales:

1. Punto de Partida: Esta sección retrata el estado del modelo de ML antes de recolectar la retroalimentación de los interesados. Incluye información sobre los conjuntos de datos utilizados, los modelos en desarrollo y las métricas que se usarán para medir el éxito.

2. Registros: Esta sección anota las interacciones con los interesados. Cada registro captura la solicitud de retroalimentación, la opinión del interesado y cómo esa retroalimentación llevó a cambios en el modelo. Aquí es donde se documenta la naturaleza iterativa de la recolección de retroalimentación.

3. Resumen Final: Al final del proceso, esta sección resume el estado del modelo después de haber incorporado la retroalimentación. Detalla qué datos y modelos se están utilizando y cómo han cambiado las métricas de rendimiento.

Esta documentación estructurada permite un seguimiento consistente de cómo se han ajustado los modelos en base a las sugerencias de los interesados.

#Recolectando Retroalimentación de Manera Efectiva

Para implementar este enfoque, es vital involucrarse con los interesados adecuadamente. Identificar a quién preguntar por retroalimentación es el primer paso. Los interesados pueden incluir miembros internos del equipo o partes externas como usuarios, oficiales de cumplimiento y organismos reguladores.

La forma en que se presenta la información a los interesados puede impactar significativamente la calidad de la retroalimentación. Los practicantes deben considerar qué detalles son necesarios para que los interesados brinden una opinión significativa. Esto podría incluir compartir métricas del modelo o proporcionar un prototipo con el que puedan interactuar.

#Diferentes Tipos de Retroalimentación

Los interesados pueden dar varios tipos de retroalimentación, dependiendo de sus roles:

• Usuarios Finales: Pueden compartir ideas sobre qué tan bien un modelo satisface sus necesidades o sus preocupaciones sobre comportamientos no deseados.

• Reguladores: Su retroalimentación típicamente gira en torno a asegurar el cumplimiento con leyes y regulaciones.

• Expertos del Dominio: Estos interesados pueden brindar asesoría técnica y contexto para informar el desarrollo del modelo.

#Incorporando la Retroalimentación en el Modelo

Una vez que se recopila la retroalimentación, los practicantes deben decidir cómo integrarla en el modelo. La retroalimentación podría llevar a diferentes tipos de actualizaciones, incluyendo:

• Actualizaciones de Modelo: Cambios directos en el modelo, como modificar el conjunto de datos o ajustar la función de pérdida (que mide qué tan bien está funcionando el modelo).

• Actualizaciones de Ecosistema: Cambios que afectan el contexto más amplio en el que opera el modelo, como actualizar documentación o mejorar interfaces de usuario para potenciar la experiencia del usuario.

El proceso de actualización debe documentarse para mostrar cómo se utilizó cada pieza de retroalimentación para mejorar el modelo.

#Midiendo el Impacto de las Actualizaciones

Es esencial evaluar el efecto de las actualizaciones realizadas en respuesta a la retroalimentación. Los practicantes deberían rastrear qué métricas son relevantes y tomarse el tiempo para evaluar cómo los cambios mejoran el rendimiento del modelo. Esto crea una conexión clara entre la retroalimentación de los interesados y los resultados del modelo.

#Desafíos en la Implementación

El proceso de integrar la retroalimentación de los interesados no está exento de dificultades. Algunos desafíos incluyen:

• Acceso al Registro: Determinar quién puede ver y editar los registros de retroalimentación es vital para mantener la transparencia.

• Escalabilidad: A medida que diferentes equipos producen numerosos registros, gestionar estas entradas puede complicarse.

• Compensaciones Logísticas: Encontrar un equilibrio entre proporcionar información detallada y minimizar la carga de trabajo para los practicantes puede ser complicado.

#Aplicaciones en el Mundo Real

Para demostrar la practicidad de este método de recolección de retroalimentación, exploramos algunos estudios de caso de diferentes industrias. Cada caso proporciona ideas sobre cómo se ha documentado y utilizado la retroalimentación de los interesados para mejorar modelos de ML.

#Estudio de Caso 1: Agente Conversacional para Pacientes con Asma

En este ejemplo, una organización de salud trabajó en el desarrollo de un agente conversacional para pacientes asmáticos. A través de interacciones con clínicos, el equipo recopiló retroalimentación sobre qué preguntas eran importantes que el agente hiciera a los pacientes. Al documentar esta retroalimentación, el proyecto pudo adaptar las capacidades del agente para satisfacer mejor las necesidades de los pacientes.

#Estudio de Caso 2: Reconocimiento de Imágenes para Vehículos de Automoción

Un equipo que trabajaba en tecnología de reconocimiento de imágenes buscaba aprobación regulatoria. Consultaron a evaluadores externos para identificar los mínimos estándares de rendimiento. Al mantener un registro de la retroalimentación y las actualizaciones realizadas en el modelo, el equipo pudo demostrar cómo cumplían con los estándares regulatorios.

#Estudio de Caso 3: Sistema de Recomendación de Contenidos para TV

En este escenario, un servicio de streaming buscaba mejorar la experiencia del usuario personalizando las recomendaciones de contenido. Al recopilar y analizar la retroalimentación de los usuarios, el equipo identificó áreas de mejora que llevaron a un mejor compromiso con las recomendaciones.

#Demostrando la Herramienta de Registro de Retroalimentación

Para facilitar el proceso de recolección y registro de retroalimentación, se creó una herramienta fácil de usar. Esta herramienta permite a los practicantes documentar fácilmente sus interacciones con los interesados y mantener un seguimiento de las actualizaciones necesarias.

La herramienta presenta una interfaz web para que los interesados proporcionen sus opiniones y una interfaz de línea de comandos (CLI) para que los practicantes gestionen sus actualizaciones. Este enfoque dual asegura una documentación exhaustiva que se puede adaptar a las diversas necesidades del equipo.

#Conclusión

Incorporar la retroalimentación de los interesados en el proceso de desarrollo de ML es crucial para crear modelos mejores y más efectivos. Al establecer una forma sistemática de registrar y utilizar esta retroalimentación, los practicantes pueden abordar las necesidades del usuario, cumplir con las regulaciones y, en última instancia, crear modelos más confiables y eficientes.

La estructura de documentación propuesta proporciona un marco claro de cómo se recopila y utiliza la retroalimentación, fomentando la comunicación continua con los interesados. A medida que la tecnología de ML sigue evolucionando, aprovechar las ideas de diversos grupos será esencial para dar forma al futuro del desarrollo responsable de IA.