Nueva herramienta evalúa la aplicabilidad de las explicaciones de IA

Este artículo habla sobre una nueva herramienta pensada para ayudar a investigadores y profesionales a checar cuán útiles son las explicaciones de los sistemas de IA cuando la gente quiere cambiar decisiones tomadas por esos sistemas. Muchas veces, cuando la IA toma decisiones que afectan a las personas, como si se aprueba un préstamo o si un empleado podría dejar una empresa, es importante que la gente entienda cómo responder a esas decisiones. Esta herramienta se enfoca en la "Accionabilidad," que trata sobre cómo la gente puede usar la información para decidir qué acciones pueden tomar para influir en los resultados.

La idea detrás de esta herramienta es proporcionar una forma clara de medir cuán útiles son las explicaciones en términos prácticos. Muchas explicaciones existentes se basan solo en lo que sienten los investigadores sobre lo que es accionable, sin una forma formal de medirlo. Así que, esta nueva herramienta busca llenar ese vacío al ofrecer una forma estructurada de evaluar la accionabilidad en diferentes tipos de explicaciones.

#¿Qué es la Accionabilidad?

La accionabilidad se refiere a la habilidad de una explicación para brindar información clara y útil que ayuda a alguien a tomar medidas para cambiar una situación. En el contexto de la IA, cuando un sistema toma una decisión que el usuario considera injusta o incorrecta, a menudo necesita saber qué puede hacer para cambiar esa decisión.

Por ejemplo, si un préstamo es rechazado, el solicitante podría querer saber qué pasos específicos puede seguir para mejorar sus posibilidades la próxima vez. Si la explicación dada por el sistema de IA es confusa o no sugiere acciones claras, entonces es menos accionable.

El objetivo de la herramienta discutida en este artículo es crear una forma clara y comprensible de evaluar la accionabilidad de diferentes tipos de explicaciones proporcionadas por sistemas de IA.

#Importancia de la Explicación en IA

Los sistemas de IA están tomando decisiones clave que afectan la vida diaria de las personas. Ya sea una aprobación de préstamo, una solicitud de empleo, o incluso determinar tarifas de seguros, las explicaciones proporcionadas necesitan ayudar a las personas a entender el razonamiento detrás de las decisiones. Si la gente puede entender el razonamiento, puede tomar acciones informadas.

Cuando la IA no aprueba un préstamo o predice que un empleado se irá, puede ser frustrante para los usuarios si no saben cómo cambiar esas decisiones. Esto resalta la necesidad de una comunicación clara por parte de los sistemas de IA para que los usuarios sepan qué hacer a continuación.

#Desarrollo de la Herramienta para Evaluar Accionabilidad

Los autores de este proyecto reconocieron la falta de claridad en lo que hace una buena explicación en sistemas de IA. Notaron que, aunque los investigadores decían que sus explicaciones eran accionables, estas afirmaciones a menudo se basaban en sentimientos personales más que en evidencia sólida.

Para abordar esto, diseñaron una herramienta que incluye siete preguntas específicas para ayudar a evaluar la accionabilidad. Esta herramienta se inspiró en métodos existentes utilizados en varios campos, pero adaptados para el contexto de la IA. Los autores revisaron otras herramientas de evaluación y crearon preguntas que se enfocan en la perspectiva del usuario.

Las siete preguntas buscan medir:

1. Claridad de la información proporcionada.
2. Entendimiento del razonamiento detrás de la decisión.
3. Relevancia y adecuación de la información.
4. Oportunidades para corregir malentendidos.
5. Identificación de acciones prácticas a tomar.
6. Accionabilidad general basada en la percepción del usuario.
7. Factores adicionales que podrían afectar la capacidad de actuar.

#Tipos de Explicaciones Estudiadas

Para probar la efectividad de la herramienta de evaluación de accionabilidad, se consideraron tres tipos diferentes de explicaciones. Estos fueron elegidos porque se basan en ejemplos y se espera que muestren diferentes niveles de accionabilidad. Los tres tipos son:

1. Explicaciones Prototípicas: Estas proporcionan ejemplos típicos de un conjunto de datos. Muestran cómo es un caso estándar, pero pueden no ofrecer una guía específica sobre qué acciones tomar.

2. Explicaciones contrafactuales: Estas describen lo que necesita cambiar para que ocurra un resultado diferente. Muestran cómo la situación de una persona tendría que alterarse para lograr una decisión más favorable, pero a menudo carecen de consejos directos y accionables.

3. Explicaciones Directivas: Estas dan recomendaciones claras sobre qué acciones debería tomar el usuario. Buscan guiar a la persona sobre los pasos necesarios para anular una decisión negativa.

#Estudios de Investigación Realizados

Se llevaron a cabo dos estudios para evaluar cuán bien funcionó la herramienta de accionabilidad.

#Estudio 1: Comparaciones por Pares

En el primer estudio, se pidió a los participantes que eligieran entre pares de explicaciones para escenarios relacionados con solicitudes de préstamos y la rotación de empleados. Este estudio tenía como objetivo ver si los participantes podían identificar qué explicación parecía más accionable. Los resultados mostraron una clara preferencia por las explicaciones directivas sobre las contrafactuales y las prototípicas.

#Estudio 2: Calificaciones Usando la Herramienta

En el segundo estudio, un grupo diferente de participantes utilizó la herramienta de evaluación de accionabilidad para calificar las explicaciones que recibieron. Cada tipo de explicación fue evaluado por separado, y los participantes proporcionaron información sobre cuán accionable era cada explicación.

Los resultados indicaron que las explicaciones directivas consistentemente se calificaron más alto que las otras, resaltando que los participantes las encontraron más útiles para tomar acción.

#Hallazgos Clave

1. Efectividad de la Herramienta: La herramienta de evaluación de accionabilidad distinguió con éxito entre los tres tipos de explicaciones. Los participantes pudieron identificar claramente las explicaciones directivas como las más accionables.

2. Influencia del Contexto: El contexto en el que se presentaron las explicaciones impactó significativamente cómo los participantes calificaron la accionabilidad. Por ejemplo, cuando los participantes se veían a sí mismos como posibles solicitantes de préstamos, ciertos criterios fueron más influyentes en sus calificaciones que cuando actuaron como supervisores de empleados.

3. La Claridad Importa: La información clara y específica fue crucial para los participantes. Preferían explicaciones que desglosaran acciones complejas en pasos fáciles de seguir.

4. Entender los Motivos: Muchos participantes expresaron la necesidad de entender por qué se tomó una decisión antes de poder ver qué acciones tomar. Esto indica que las explicaciones no solo deberían decir a los usuarios qué hacer, sino también ayudarles a entender la situación.

#Limitaciones y Direcciones Futuras

Aunque esta herramienta proporciona información valiosa, hay áreas para mejorar. Los estudios se realizaron en dominios específicos, como la puntuación de crédito y la rotación de empleados, por lo que es necesario hacer más investigaciones en diferentes contextos para validar los hallazgos. Además, hay una necesidad de considerar preferencias personales y factores sociales al evaluar la accionabilidad, ya que diferentes usuarios pueden requerir diferentes tipos de información.

Los estudios futuros podrían beneficiarse al investigar cómo varios métodos para generar explicaciones afectan la accionabilidad y posiblemente adaptar la herramienta para escenarios adicionales.

#Conclusión

La herramienta de evaluación de accionabilidad representa un paso hacia hacer que los sistemas de IA sean más amigables para los usuarios y apoyen a las personas en entender y responder a las decisiones de la IA. Al proporcionar una forma estructurada de evaluar explicaciones, esta herramienta puede mejorar cómo se transmite la información y ayudar a las personas a tomar acciones significativas en respuesta a decisiones algorítmicas. Los investigadores y profesionales pueden usar esta herramienta para diseñar mejores explicaciones, asegurando que los usuarios estén empoderados para navegar efectivamente por los resultados generados por la IA.