Desafíos en la Auditoría de Sistemas de Toma de Decisiones Automatizadas

Los sistemas automatizados que toman decisiones por los usuarios están por todas partes hoy en día. Con su auge, hay preocupaciones crecientes sobre cómo estos sistemas afectan a las personas y a la sociedad. Por eso, necesitamos formas confiables de verificar si estos sistemas son justos y respetan las leyes y regulaciones.

Los auditores, que son las personas que revisan estos sistemas, enfrentan desafíos al intentar evaluar el Cumplimiento. A menudo, no tienen acceso directo a los algoritmos subyacentes, la programación o los datos utilizados para entrenar estos sistemas. Esta falta de acceso hace que sea difícil realizar evaluaciones simples.

Recientemente, surgió una nueva idea llamada "auditoría a prueba de manipulaciones". Este enfoque examina qué tan bien pueden los auditores verificar estos sistemas en condiciones del mundo real, especialmente cuando los modelos involucrados tienen altas capacidades, lo que significa que pueden adaptarse a muchos tipos diferentes de datos.

#El Desafío de Auditar Modelos de IA

Cuando un sistema utiliza modelos que pueden adaptarse a cualquier dato, cualquier intento de auditar el sistema se vuelve muy complicado. Por ejemplo, si un modelo puede imitar perfectamente los datos que ve, ninguna estrategia de auditoría puede ser mejor que una muestra aleatoria. Esto significa que para evaluar métricas de equidad como la paridad demográfica, los auditores podrían encontrarse en una situación donde sus métodos no den mejores resultados que la suerte.

Para realmente entender cuándo los métodos de auditoría funcionan bien, necesitamos vincular cuán manipulables son las Auditorías con la capacidad de los modelos que se están revisando. Cuanta más capacidad tenga un modelo, más complicado se vuelve auditarlo de manera efectiva.

#La Importancia del Cumplimiento

A medida que los sistemas automatizados de cara al usuario se vuelven comunes, surgen preguntas significativas sobre sus efectos en la sociedad. La complejidad y la gran cantidad de plataformas en línea destacan la necesidad de auditorías que puedan evaluar de manera confiable su impacto en los usuarios. Casos notables, como las auditorías de COMPAS y la herramienta de reclutamiento de Amazon, muestran que la supervisión en este campo está ganando fuerza.

Para asegurar la confianza pública en la inteligencia artificial (IA) y la toma de decisiones algorítmica, son esenciales métodos que puedan explicar las decisiones del sistema, certificar su correcto funcionamiento y detectar conductas indebidas.

#Marco de Auditoría

En una auditoría típica, los auditores interactúan con un sistema a través de una interfaz web o API. Necesitan verificar propiedades específicas, como si el sistema está libre de sesgos. Este tipo de auditoría se conoce como auditoría remota de "caja negra", donde los funcionamientos internos del modelo permanecen ocultos para el auditor.

Antes de que comience el proceso de auditoría, la plataforma necesita declarar su espacio de hipótesis al auditor. Durante la auditoría, el auditor envía consultas al sistema y, después, la plataforma puede cambiar su modelo. Sin embargo, debe mantener la salida consistente con las interacciones previas durante la auditoría.

#Prácticas Actuales de Auditoría

La mayoría de los métodos de auditoría actuales se centran en detectar violaciones de reglas. Esta forma de auditoría de detección implica muestrear datos aleatoriamente, medir los factores de interés y declarar un fallo si esas mediciones están fuera de los límites aceptables. Para probar que una plataforma ha actuado mal, uno debe atraparlos en el acto durante la auditoría. Probar que no existen violaciones requeriría una consulta exhaustiva del espacio de entrada del sistema, lo cual a menudo no es factible.

#Marco de Auditoría a Prueba de Manipulaciones

En nuestro trabajo, nos enfocamos en auditorías externas. Estas auditorías requieren que una tercera parte confirme las afirmaciones hechas por la plataforma sobre la equidad o sesgo en sus resultados. Una parte importante de este proceso es entender cómo la plataforma podría intentar manipular los resultados de la auditoría para parecer conforme.

Antes de la auditoría, la plataforma revela su clase de hipótesis, como árboles de decisión, al auditor. Durante la auditoría, el auditor intenta construir un conjunto de datos de auditoría interactuando con el modelo expuesto por la plataforma. El desafío es que la plataforma podría mostrar un modelo justo durante la auditoría y luego cambiar a una versión engañosa después.

#Capacidades del Auditor y la Plataforma

En este contexto, el auditor puede enviar consultas adaptativas para reunir más información. Sabe el tipo de modelo que utiliza la plataforma y puede ver los atributos sensibles en todos los puntos de datos. Por otro lado, la plataforma no solo entiende las propiedades que están siendo revisadas por el auditor, sino que también puede elegir el mejor modelo para ajustar sus resultados después de la auditoría.

#El Problema en Mano

Algunas investigaciones indican que conocer la clase de hipótesis puede reducir el número de consultas necesarias para alcanzar resultados confiables. Sin embargo, demostrar que cualquier método de auditoría dado es mejor que un enfoque aleatorio sigue siendo un problema complejo.

En nuestro estudio, nos concentramos en clasificadores binarios con atributos sensibles binarios. Este es solo un punto de partida; esperamos que investigaciones futuras puedan ampliar este trabajo a otros tipos de modelos y tareas.

#La Necesidad de Transparencia

Una conclusión clave es que los reguladores no solo deberían tener acceso a "caja negra" a modelos de IA, sino que también deberían tener información adicional sobre el proceso de auditoría. Queremos revelar si las plataformas pueden diseñar modelos que logren alta utilidad mientras evaden auditorías.

Nuestros hallazgos muestran que cuando el modelo de una plataforma puede representar perfectamente cualquier conjunto de datos, su manipulación puede hacer que sea increíblemente difícil de auditar. Para los casos donde el modelo puede adaptarse a cualquier etiquetado de un conjunto de datos, ningún método de auditoría puede desempeñarse mejor que el muestreo aleatorio.

#Perspectivas del Estudio

Para profundizar en la auditoría, examinamos clases específicas de modelos para determinar cómo su diseño se relaciona con la auditabilidad. Para algunos modelos, las probabilidades de manipulación se pueden calcular directamente, ayudando a identificar condiciones donde las auditorías tradicionales son ineficaces.

Analizamos la relación entre la complejidad de los modelos y su capacidad para ser manipulados durante las auditorías. Nuestro trabajo confirma que los modelos más grandes y complejos son más difíciles de auditar de manera efectiva.

#El Papel de las Métricas de Complejidad

A medida que analizamos el rendimiento de diferentes modelos, nos centramos en varias medidas típicas de auditoría. Entre estas medidas se encuentran las verificaciones de equidad estadística que incluyen la paridad demográfica. Estas medidas no requieren típicamente etiquetas de verdad fundamental, lo que las hace atractivas para los auditores.

Si bien nos referimos específicamente a la equidad demográfica en nuestro estudio, los hallazgos pueden, en principio, aplicarse a varios tipos de medidas de equidad.

#Medición de la Dificultad de Auditoría

Introducimos la noción de manipulabilidad bajo auditorías aleatorias para expresar cuán desafiante es auditar tipos específicos de modelos. Al promediar los resultados de auditoría para conjuntos de datos determinados, podemos evaluar cuán manipulables son las salidas del modelo de la plataforma.

Este examen refleja el potencial de la plataforma para seleccionar modelos que maximicen la dificultad de su auditoría mientras minimizan la mala conducta visible.

#Configuración Experimental

Nuestros experimentos evaluaron varios modelos, desde modelos lineales más simples hasta árboles de decisión y árboles de gradientes más complejos. Probamos la relación entre la capacidad de los modelos (su habilidad para ajustarse a datos) y su manipulabilidad bajo auditorías aleatorias.

Al observar varios parámetros dentro de estos modelos, buscamos aislar patrones en la dificultad de auditoría en relación con el diseño del modelo.

#Los Efectos de la Capacidad en la Dificultad de Auditoría

En nuestra exploración de diferentes clases de hipótesis, notamos una tendencia consistente: a medida que aumenta la Capacidad del modelo, también lo hace su manipulabilidad bajo auditorías aleatorias. Esto sugiere que a medida que los modelos se vuelven más complejos, también se vuelven más difíciles de auditar de manera efectiva.

Es notable que encontramos que los modelos de gran capacidad a menudo generan dificultades de auditoría que se alinean estrechamente con las auditorías de referencia realizadas a través de muestreo aleatorio.

#El Costo de la Evasión

Las plataformas pueden estar incentivadas a eludir auditorías sin sufrir pérdidas significativas en precisión. Esto destaca una realidad preocupante: la estructura de incentivos para los modelos de IA puede llevar fácilmente a problemas de cumplimiento, especialmente cuando los modelos pueden ser hechos a medida para evadir el escrutinio.

Nuestros hallazgos reiteran que, aunque algunos modelos pueden diseñarse para proporcionar resultados precisos en general, también pueden ser manipulados para responder de manera favorable durante las auditorías, socavando así su verdadero rendimiento.

#La Conexión Entre la Capacidad del Modelo y la Auditabilidad

Hemos demostrado un fuerte vínculo entre la complejidad de un modelo y su auditabilidad. A medida que los modelos aumentan en capacidad, la posibilidad de manipulación crece, lo que hace necesario que los auditores sean vigilantes en sus enfoques.

Los modelos complejos a menudo conducen a escenarios donde las auditorías resultan en resultados no mejores que el muestreo aleatorio, señalando debilidades en los métodos de auditoría tradicionales.

#Conclusión

El movimiento hacia una mayor transparencia en las auditorías de algoritmos de IA es esencial. A medida que las plataformas emplean modelos más complejos, el desafío de asegurar el cumplimiento crece. Un cambio hacia incluir supervisión directa y certificación en el proceso de auditoría puede mejorar la efectividad de estas evaluaciones.

Para mantener la confianza pública en los sistemas automatizados de toma de decisiones, se necesita prestar más atención al desarrollo de marcos de auditoría robustos que se mantengan al día con los avances en la tecnología de aprendizaje automático. Al entender los desafíos dentro de las prácticas actuales de auditoría, podemos prepararnos mejor para el futuro de los sistemas automatizados.