Auditoría Sociotécnica: Repensando la Evaluación de Algoritmos

Las auditorías algorítmicas son herramientas que se usan para estudiar sistemas complejos donde no está claro cómo funcionan. Son muy útiles para analizar los aspectos técnicos de estos sistemas. Sin embargo, a menudo no toman en cuenta a los usuarios que interactúan con ellos. Este documento presenta la idea de la auditoría sociotécnica, que analiza tanto la tecnología como a las personas que la usan. Este enfoque reconoce cómo los Algoritmos y los usuarios se influyen mutuamente.

Para demostrar este método, creamos una plataforma llamada Intervenr. Este sistema permite a los investigadores realizar estudios a largo plazo sobre cómo funcionan los algoritmos en situaciones del mundo real, observando las experiencias de los usuarios mientras interactúan con estos algoritmos a lo largo del tiempo. Específicamente, aplicamos este método a la publicidad en línea dirigida.

#¿Qué es la Auditoría Sociotécnica?

La auditoría sociotécnica combina la evaluación técnica de los sistemas algorítmicos con un análisis del comportamiento de los usuarios. Reconoce que los algoritmos no son entidades independientes; interactúan con los usuarios y ambos se influyen mutuamente. Las auditorías algorítmicas regulares suelen centrarse solo en el lado técnico, mientras que las auditorías de usuarios solo ven cómo las personas responden a estos sistemas. Al combinar ambas perspectivas, las auditorías sociotécnicas ofrecen una imagen más completa de cómo operan los sistemas algorítmicos.

#Intervenr: Una herramienta para Auditorías Sociotécnicas

Intervenr es una plataforma web diseñada para realizar auditorías sociotécnicas. Consiste en una extensión de navegador y una aplicación web que trabajan juntas para recoger datos mientras los usuarios navegan por internet. El sistema recopila información sobre las experiencias de los usuarios, como los anuncios que ven, y permite a los investigadores hacer cambios en estas experiencias en tiempo real.

#Cómo funciona Intervenr

La plataforma opera en dos fases principales. En la primera fase, recoge datos básicos sobre las interacciones del usuario con el contenido en línea. Esto incluye rastrear los tipos de anuncios que se muestran y cómo los usuarios interactúan con ellos. En la segunda fase, los investigadores pueden cambiar el contenido que ven los usuarios, como intercambiar anuncios entre ellos, para ver cómo estos cambios afectan sus interacciones y sentimientos sobre los anuncios.

#Estudio de Caso: Publicidad en Línea Dirigida

Aplicamos la auditoría sociotécnica a un estudio de dos semanas sobre la publicidad en línea dirigida. El objetivo era investigar si los anuncios personalizados son más efectivos que los no dirigidos. El estudio involucró la recolección de datos sobre las experiencias publicitarias de los usuarios y el análisis de cómo respondían a los anuncios personalizados versus los anuncios intercambiados.

#Diseño del Estudio

Los participantes del estudio fueron reclutados en línea. Buscamos un grupo diverso de usuarios en términos de edad, raza y género. El estudio duró dos semanas, durante las cuales recopilamos datos sobre los anuncios que vieron los participantes y cómo se sentían al respecto.

Durante la primera semana, recopilamos datos sobre los anuncios personalizados mostrados a los participantes. En la segunda semana, introdujimos la intervención de intercambio de anuncios, donde los participantes fueron emparejados y se intercambiaron los anuncios que veían. Esto se hizo para entender cómo se aclimatan los usuarios a diferentes anuncios.

#Métricas Recopiladas

A lo largo del estudio, medimos varios factores relacionados con el Compromiso de los usuarios con los anuncios. Esto incluyó:

• Interés del usuario en los anuncios.
• Sentimientos de representación respecto a los anuncios mostrados.
• Reconocimiento de los anuncios vistos.
• Número de veces que se hicieron clic en los anuncios.

Estas métricas nos ayudaron a comparar la efectividad de los anuncios personalizados contra los anuncios intercambiados.

#Hallazgos del Estudio de Caso

Los hallazgos de nuestra auditoría de dos semanas mostraron que los anuncios personalizados generalmente lograron un mejor compromiso de los usuarios que los anuncios intercambiados. Sin embargo, también encontramos patrones interesantes sobre el comportamiento de los usuarios:

1. Efectividad del Anuncio: Los anuncios personalizados llevaron a un mayor interés y sentimientos de representación entre los usuarios.
2. Acostumbramiento del Usuario: Después de solo una semana de exposición, los usuarios comenzaron a mostrar afinidad por los anuncios que recibieron de sus compañeros de intercambio, lo que sugiere que la exposición repetida a cualquier conjunto de anuncios podría fomentar el interés, incluso si esos anuncios no estaban originalmente dirigidos a ellos.
3. Reconocimiento Falso: Hubo un nivel significativo de reconocimiento falso de anuncios, donde los participantes afirmaron recordar anuncios que en realidad no habían visto. Esto ocurrió a menudo cuando se les mostraron anuncios similares a los que normalmente encontraban.

Estos hallazgos desafían la suposición de que los anuncios dirigidos son inherentemente superiores y sugieren que los usuarios pueden acostumbrarse a diferentes estrategias publicitarias en un periodo de tiempo relativamente corto.

#Implicaciones de la Auditoría Sociotécnica

Las ideas obtenidas de la auditoría sociotécnica pueden tener implicaciones significativas sobre cómo entendemos y diseñamos sistemas algorítmicos.

#Consideraciones de Política

A medida que la publicidad dirigida se vuelve más común, es urgente garantizar que estos sistemas operen de manera equitativa. Las auditorías sociotécnicas pueden ayudar a iluminar los sesgos presentes en las prácticas publicitarias, asegurando que los grupos marginados no se vean negativamente afectados por la segmentación algorítmica.

#Empoderamiento del Usuario

Al entender el impacto de los sistemas algorítmicos en los usuarios, los investigadores pueden desarrollar métodos que empoderen a los usuarios. Esto podría incluir dar a los usuarios más control sobre los anuncios que ven o permitirles dar retroalimentación sobre sus experiencias.

#Investigación Futura

El concepto de auditoría sociotécnica abre muchas avenidas para futuras investigaciones. Incentivamos estudios que examinen:

• Diferentes tipos de algoritmos más allá de la publicidad.
• Efectos longitudinales de la exposición algorítmica durante un periodo más largo.
• Diseños centrados en el usuario que involucren directamente a los usuarios en el proceso de auditoría.

#Conclusión

En conclusión, la auditoría sociotécnica ofrece un enfoque más completo para entender los sistemas algorítmicos al tener en cuenta tanto los componentes técnicos como los de usuario. La plataforma Intervenr demuestra cómo se puede aplicar este método en entornos del mundo real, proporcionando ideas valiosas sobre la efectividad de los algoritmos como los que se utilizan en la publicidad dirigida.

A medida que avanzamos, será crucial seguir explorando la interacción entre la tecnología y los usuarios. Al hacerlo, podemos crear sistemas más transparentes, equitativos y efectivos que satisfagan las necesidades de todos los usuarios.