Integrando el conocimiento personal en las predicciones de aprendizaje automático

Los modelos de Aprendizaje automático pueden ayudar a tomar decisiones basadas en un montón de datos. Sin embargo, estos modelos a menudo se pierden el conocimiento personal que los individuos tienen sobre sus propias situaciones. Por ejemplo, un modelo que predice resultados de salud mental puede no considerar el sistema de apoyo social de un paciente, que puede ser muy diferente para cada persona. Este artículo presenta una idea llamada integración de características humanas, que busca incluir el conocimiento personal importante de los Usuarios en las predicciones de aprendizaje automático sin necesidad de que sean expertos en el campo.

#La Importancia del Conocimiento Personal

Los modelos de aprendizaje automático están diseñados para proporcionar predicciones rápidas y precisas para muchas personas. Ya sea una recomendación de una receta o una puntuación de crédito, estos modelos pueden procesar datos y entregar resultados de manera eficiente. Sin embargo, la información utilizada para entrenar estos modelos a menudo se centra en un conjunto básico de entradas, que puede no captar completamente la situación única de un individuo.

Tomemos el ejemplo de predecir resultados para pacientes de salud mental. Un método típico implica usar registros de salud electrónicos (EHR) de muchos pacientes. Mientras que los EHR incluyen numerosas variables sobre diagnósticos, tratamientos y uso, los factores personales también juegan un papel significativo. Las circunstancias de cada paciente son diferentes: uno puede tener un trabajo que afecta su sueño, otro puede carecer de una red de apoyo fuerte y un tercero podría enfrentar problemas de transporte. Al tener en cuenta el conocimiento personal, los modelos de aprendizaje automático podrían proporcionar predicciones más precisas y mejorar la experiencia general para los usuarios.

El conocimiento personal proviene de experiencias vividas, que pueden ser esenciales para predecir resultados en la vida. Este tipo de conocimiento es diferente del conocimiento formal, que involucra teorías y métodos establecidos. El concepto propuesto de integración de características humanas permite a los usuarios incorporar su conocimiento personal como nuevas características en las predicciones sin necesidad de entender el proceso de Predicción subyacente.

#Caracterizando la Integración de Características Humanas

La idea de la integración de características humanas involucra dos puntos principales. Primero, hay características humanas que el sistema de aprendizaje automático no usa en sus predicciones, pero que una persona puede proporcionar. Estas características pueden ser cruciales para hacer predicciones precisas. Segundo, la relevancia de estas características puede variar ampliamente entre diferentes individuos. Por ejemplo, lo que importa para un paciente puede no ser importante para otro.

Esto crea la necesidad de nuevos métodos para utilizar con éxito estas características humanas. Como los usuarios a menudo carecen de conocimientos expertos en la toma de decisiones, los métodos tradicionales que dependen de predicciones humanas pueden no funcionar bien. Además, las diversas necesidades de los individuos significan que no se puede simplemente agregar unas pocas preguntas extra a un cuestionario; lo que es importante varía significativamente entre diferentes usuarios.

#Historias de Usuarios que Resaltan la Necesidad del Conocimiento Personal

Para entender la importancia de la integración de características humanas, consideremos dos escenarios ficticios.

#Escenario 1: Predicción Médica para un Paciente Transgénero

Un hombre transgénero visita la sala de emergencias mientras toma testosterona. Un modelo de aprendizaje automático lo señala como en riesgo de un futuro evento cardíaco debido a sus altos niveles de hemoglobina, que se consideran anormales para un marcador de género femenino. Sin embargo, el modelo no sabe sobre su tratamiento con testosterona porque se basa solo en los datos limitados disponibles en la sala de emergencias.

En este caso, el paciente carece de conocimiento médico para entender por qué se ha hecho la predicción y si es correcta. Bajo la integración de características humanas, el modelo podría simplemente preguntarle al paciente si está tomando testosterona. Este conocimiento personal ayudaría al modelo a proporcionar una evaluación de riesgo más precisa para el paciente.

#Escenario 2: Alerta de Servicios de Protección Infantil para un Niño con Problemas de Conducta

Una familia con un niño diagnosticado con Trastorno Disruptivo de la Regulación del Ánimo (DMDD) recibe un aviso de seguimiento de los Servicios de Protección Infantil (CPS) debido a los estallidos de agresión del niño. El modelo no reconoce estos estallidos como relacionados con el DMDD y sugiere una intervención por parte del CPS.

La familia no es consciente de que esta etiqueta puede llevar al niño a obtener la atención psiquiátrica necesaria en lugar de ser investigado por el CPS. Bajo el escenario propuesto, el modelo preguntaría a la familia sobre la condición de su hijo en lugar de hacer suposiciones, permitiéndoles proporcionar información relevante que dirigiría al niño hacia la atención apropiada.

#Métodos Actuales vs. Integración de Características Humanas

Los métodos existentes para combinar el conocimiento humano con el aprendizaje automático requieren que los usuarios tengan conocimientos específicos del dominio. Esto los hace poco adecuados para situaciones donde los usuarios no son expertos.

#Combinaciones de Predicciones Post-Hoc

Hay métodos para combinar predicciones de diferentes fuentes para mejorar la precisión. Estos incluyen el uso de una mezcla de expertos, donde un experto es humano. Sin embargo, estos métodos pueden fallar cuando ningún tomador de decisiones proporciona una predicción precisa. A menudo dependen de que los usuarios puedan hacer predicciones correctas por sí mismos, lo cual puede no ser realista.

#Explicaciones de Aprendizaje Automático

Algunos modelos de aprendizaje automático interpretables intentan explicar sus predicciones, lo que permite a los usuarios combinar su conocimiento con la salida del modelo. Sin embargo, esto requiere que el usuario esté familiarizado con cómo se deberían hacer las predicciones, lo que nuevamente asume un nivel de experiencia que puede no existir.

#Un Nuevo Enfoque: Integración de Características Humanas

La integración de características humanas ofrece una solución diferente. Al reconocer que los usuarios tienen conocimiento personal y deben contribuir con ese conocimiento a las predicciones, este enfoque aborda la brecha dejada por los métodos existentes. Los usuarios no necesitan crear predicciones o entender el proceso; solo necesitan proporcionar información basada en sus experiencias.

#Definición del Problema: Consultar Características Humanas en el Momento de la Prueba

El desafío central de la integración de características humanas es cómo preguntar a los usuarios sobre características relevantes en el momento de la prueba mientras se mantiene un número manejable de consultas. Abrumar a los usuarios con demasiadas preguntas puede interferir con el flujo de trabajo y generar una mala experiencia. Además, las características que importan variarán de un usuario a otro, lo que dificulta estandarizar el enfoque.

Para abordar estos problemas, el enfoque se basa en obtener un pequeño pero útil conjunto de características de cada usuario, reconociendo la importancia del conocimiento personal en la configuración de predicciones de aprendizaje automático.

#Desafíos Técnicos en la Integración de Características Humanas

Hay varios desafíos técnicos que se deben manejar para implementar con éxito la integración de características humanas.

#1. Adquirir Parámetros del Modelo para Características Humanas

Un desafío es obtener parámetros del modelo correspondientes a las características humanas. Esto es complicado, ya que consultar a los usuarios sobre los valores de las características conlleva un costo. Encontrar formas eficientes de recopilar estos datos, quizás a través de financiación o métodos de aprendizaje activo, es crucial.

#2. Aproximar la Probabilidad de Características Humanas No Consultadas

Calcular probabilidades para características no consultadas es esencial para hacer predicciones precisas. Esto se puede hacer modelando la distribución de características humanas, pero requiere cierto acceso a datos, lo que podría ser un desafío.

#3. Aproximar el Objetivo Idealizado Sin Conocer las Etiquetas de los Usuarios

El desafío final implica estimar el objetivo sin tener etiquetas para las instancias de prueba. Esto se puede abordar utilizando métodos de reducción de incertidumbre en lugar de depender de diferencias conocidas entre las etiquetas predichas y las verdaderas.

#Implementando la Integración de Características Humanas

Este artículo describe un enfoque general para la integración de características humanas que implica consultar características informativas de los usuarios. Se discute una solución simple, que permite la integración del conocimiento humano durante las predicciones.

#Enfoque para el Desafío 1: Asumir Acceso a Características Humanas Durante el Entrenamiento

Para abordar el desafío de obtener parámetros del modelo, asumimos acceso a características humanas durante el entrenamiento. Esto podría ser factible en entornos donde el presupuesto permite recopilar datos de características adicionales mediante métodos como la contratación de mano de obra o ensayos clínicos.

#Enfoque para el Desafío 2: Independencia del Modelo

Para abordar el desafío de aproximar la probabilidad de características no consultadas, se asume acceso a características humanas durante el entrenamiento. Además, simplificamos los cálculos tratando las características humanas como independientes, lo que puede no reflejar siempre la realidad, pero hace que el enfoque sea más manejable.

#Enfoque para el Desafío 3: Minimizar la Entropía Predictiva

Sin etiquetas verdaderas, nos centramos en minimizar la incertidumbre de la predicción en lugar de medir diferencias de las etiquetas verdaderas. Al buscar características humanas que reduzcan la incertidumbre, aumentamos la probabilidad de obtener predicciones más precisas.

#Experimentos Preliminares

Para evaluar el enfoque propuesto, se realizaron experimentos preliminares para evaluar sus implicaciones prácticas. Se exploraron tres preguntas principales.

#RQ1: ¿Mejoran las Características Humanas las Predicciones?

La primera pregunta investiga si unas pocas características humanas pueden mejorar las predicciones. Los resultados muestran que usar características humanas mejora significativamente el rendimiento predictivo, lo que indica que los métodos que incorporan este conocimiento son valiosos.

#RQ2: ¿Es Mejor la Selección de Características a Nivel de Instancia que a Nivel de Conjunto de Datos?

La segunda pregunta examina si seleccionar características a nivel individual ofrece más ventajas que usar un conjunto común entre instancias. Los hallazgos sugieren que las consultas de características individualizadas superan a las compartidas, destacando la necesidad de enfoques personalizados.

#RQ3: ¿Quién es Mejor eligiendo Características Humanas: ¿Usuarios o Algoritmos?

La última pregunta pregunta si los usuarios o los algoritmos son más adecuados para seleccionar características relevantes. Los resultados indican que un enfoque algorítmico, que consulta sistemáticamente a los usuarios sobre características específicas, resulta ser más efectivo que dejar que los usuarios determinen qué características proporcionar.

#Conclusión

Los usuarios poseen experiencias personales que pueden influir enormemente en las predicciones realizadas por los sistemas de aprendizaje automático. Los métodos tradicionales de incorporación de este conocimiento son insuficientes, particularmente cuando los usuarios no tienen experiencia en el dominio. La integración de características humanas proporciona una solución al permitir que los usuarios compartan su conocimiento personal sin necesidad de entender el proceso de predicción.

Este artículo ha caracterizado la integración de características humanas, resaltado su potencial a través de historias de usuarios y discutido su relevancia en el panorama actual del aprendizaje automático. El marco propuesto y varios desafíos allanan el camino para futuros desarrollos en este campo. Los experimentos iniciales ofrecen evidencia prometedora sobre la efectividad del enfoque. En general, incorporar conocimiento personal en las predicciones de aprendizaje automático representa un valioso paso adelante para mejorar la relevancia y precisión de estos sistemas.