Audit Sociotecnici: Ripensare la Valutazione degli Algoritmi

Gli audit degli Algoritmi sono strumenti utilizzati per studiare sistemi complessi dove i dettagli su come funzionano non sono chiari. Sono molto utili per analizzare gli aspetti tecnici di questi sistemi. Tuttavia, spesso non tengono conto degli utenti che interagiscono con essi. Questo documento introduce l'idea dell'audit sociotecnico, che guarda sia alla tecnologia che alle persone che la usano. Questo approccio riconosce come gli algoritmi e gli utenti si influenzino a vicenda.

Per dimostrare questo metodo, abbiamo creato una piattaforma chiamata Intervenr. Questo sistema consente ai ricercatori di condurre studi a lungo termine su come funzionano gli algoritmi in situazioni reali, osservando le esperienze degli utenti mentre interagiscono con questi algoritmi nel tempo. In particolare, abbiamo applicato questo metodo alla pubblicità online mirata.

#Cos'è l'Audit Sociotecnico?

L'audit sociotecnico combina la valutazione tecnica dei sistemi algoritmici con un'analisi del comportamento degli utenti. Riconosce che gli algoritmi non sono entità autonome; interagiscono con gli utenti e entrambi si influenzano a vicenda. I normali audit degli algoritmi di solito si concentrano solo sul lato tecnico, mentre gli audit degli utenti guardano solo a come le persone rispondono a questi sistemi. Combinando entrambe le prospettive, gli audit sociotecnici offrono un quadro più completo su come operano i sistemi algoritmici.

#Intervenr: Uno Strumento per l'Audit Sociotecnico

Intervenr è una piattaforma web progettata per condurre audit sociotecnici. Consiste in un'estensione del browser e un'applicazione web che lavorano insieme per raccogliere dati mentre gli utenti navigano su Internet. Il sistema raccoglie informazioni sulle esperienze degli utenti, come gli annunci che vedono, e consente ai ricercatori di apportare modifiche a queste esperienze in tempo reale.

#Come Funziona Intervenr

La piattaforma opera in due fasi principali. Nella prima fase, raccoglie dati di base sulle interazioni dell'utente con i contenuti online. Questo include il monitoraggio dei tipi di annunci visualizzati e come gli utenti interagiscono con essi. Nella seconda fase, i ricercatori possono cambiare il contenuto che gli utenti vedono, come scambiare gli annunci tra gli utenti, per vedere come queste modifiche influenzano le loro interazioni e sentimenti riguardo agli annunci.

#Studio di Caso: Pubblicità Online Mirata

Abbiamo applicato l'audit sociotecnico a uno studio di due settimane sulla pubblicità online mirata. L'obiettivo era investigare se gli annunci personalizzati siano più efficaci di quelli non mirati. Lo studio ha coinvolto la raccolta di dati sulle esperienze pubblicitarie degli utenti e l'analisi di come hanno risposto agli annunci personalizzati rispetto a quelli scambiati.

#Design dello Studio

I partecipanti allo studio sono stati reclutati online. Puntavamo a un gruppo diversificato di utenti in termini di età, razza e genere. Lo studio è durato due settimane, durante le quali abbiamo raccolto dati sugli annunci che i partecipanti vedevano e come si sentivano riguardo a quegli annunci.

Durante la prima settimana, abbiamo raccolto dati sugli annunci personalizzati mostrati ai partecipanti. Nella seconda settimana, abbiamo introdotto l'intervento di scambio annunci, dove i partecipanti sono stati abbinati e hanno scambiato gli annunci che vedevano. Questo è stato fatto per capire come gli utenti si acclimatano a diversi annunci.

#Metriche Raccogliate

Durante lo studio, abbiamo misurato diversi fattori legati al Coinvolgimento degli utenti con gli annunci. Questo includeva:

• Interesse degli utenti per gli annunci.
• Sentimenti di rappresentanza riguardo agli annunci mostrati.
• Riconoscimento degli annunci visualizzati.
• Il numero di volte in cui gli annunci sono stati cliccati.

Queste metriche ci hanno aiutato a confrontare l'efficacia degli annunci personalizzati rispetto a quelli scambiati.

#Risultati dello Studio di Caso

I risultati del nostro audit di due settimane hanno mostrato che gli annunci personalizzati generalmente hanno coinvolto gli utenti meglio rispetto agli annunci scambiati. Tuttavia, abbiamo anche trovato pattern interessanti riguardo al comportamento degli utenti:

1. Efficacia degli Annunci: Gli annunci personalizzati hanno portato a un maggiore interesse e sentimenti di rappresentanza tra gli utenti.
2. Acclimatazione degli Utenti: Dopo solo una settimana di esposizione, gli utenti hanno cominciato a mostrare affinità verso gli annunci ricevuti dai loro partner di scambio, suggerendo che l'esposizione ripetuta a un qualsiasi set di annunci potrebbe favorire l'interesse, anche se quegli annunci non erano originariamente mirati a loro.
3. Falsa Riconoscenza: C'era un livello significativo di falsa riconoscenza degli annunci, dove i partecipanti sostenevano di ricordare annunci che in realtà non avevano mai visto. Questo accadeva spesso quando venivano mostrati annunci simili a quelli che normalmente incontravano.

Questi risultati sfidano l'assunzione che gli annunci mirati siano intrinsecamente superiori e suggeriscono che gli utenti possono acclimatarsi a diverse strategie pubblicitarie in un periodo relativamente breve.

#Implicazioni dell'Audit Sociotecnico

Le intuizioni ottenute dall'audit sociotecnico possono avere implicazioni significative su come comprendiamo e progettiamo sistemi algoritmici.

#Considerazioni Politiche

Con l'aumento della pubblicità mirata, c'è un bisogno pressante di garantire che questi sistemi operino in modo equo. Gli audit sociotecnici possono aiutare a far luce sui pregiudizi presenti nelle pratiche pubblicitarie, assicurando che i gruppi emarginati non siano negativamente impattati dal targeting algoritmico.

#Empowerment degli Utenti

Comprendendo l'impatto dei sistemi algoritmici sugli utenti, i ricercatori possono sviluppare metodi che li rendano più potenti. Questo potrebbe includere dare agli utenti più controllo sugli annunci che vedono o permettere loro di fornire feedback sulle loro esperienze.

#Ricerca Futuro

Il concetto di audit sociotecnico apre molte strade per la ricerca futura. Incoraggiamo studi che guardino a:

• Tipi diversi di algoritmi oltre alla pubblicità.
• Effetti longitudinali dell'esposizione algoritmica su un periodo più lungo.
• Design centrati sull'utente che coinvolgano direttamente gli utenti nel processo di audit.

#Conclusione

In conclusione, l'audit sociotecnico offre un approccio più completo per comprendere i sistemi algoritmici, tenendo conto sia degli aspetti tecnici che di quelli degli utenti. La piattaforma Intervenr dimostra come questo metodo possa essere applicato in contesti reali, fornendo intuizioni preziose sull'efficacia di algoritmi come quelli usati nella pubblicità mirata.

Procedendo, sarà cruciale continuare a esplorare l'interazione tra tecnologia e utenti. Facendo ciò, possiamo creare sistemi più trasparenti, equi ed efficaci che soddisfino le esigenze di tutti gli utenti.