Sozio-technische Audits: Algorithmenbewertung neu denken

Algorithm-Audits sind Werkzeuge, um komplexe Systeme zu untersuchen, bei denen die Details, wie sie funktionieren, nicht klar sind. Sie sind super nützlich, um die technischen Aspekte dieser Systeme zu analysieren. Allerdings berücksichtigen sie oft nicht die User, die damit interagieren. In diesem Papier wird die Idee des sozialtechnischen Audits vorgestellt, das sowohl die Technologie als auch die Menschen, die sie nutzen, betrachtet. Dieser Ansatz erkennt an, wie Algorithmen und User sich gegenseitig beeinflussen.

Um diese Methode zu demonstrieren, haben wir eine Plattform namens Intervenr erstellt. Dieses System ermöglicht es Forschern, Langzeitstudien darüber durchzuführen, wie Algorithmen in realen Situationen funktionieren, indem sie die Erfahrungen der User beobachten, während sie über einen längeren Zeitraum mit diesen Algorithmen interagieren. Konkret haben wir diese Methode auf gezielte Online-Werbung angewendet.

#Was ist sozialtechnisches Audit?

Das sozialtechnische Audit kombiniert die technische Bewertung von algorithmischen Systemen mit einer Analyse des Nutzerverhaltens. Es erkennt an, dass Algorithmen keine eigenständigen Entitäten sind; sie interagieren mit Usern, und beide beeinflussen sich gegenseitig. Regelmässige Algorithm-Audits konzentrieren sich oft nur auf die technischen Aspekte, während Nutzer-Audits nur darauf schauen, wie die Leute auf diese Systeme reagieren. Durch die Kombination beider Perspektiven bieten sozialtechnische Audits ein vollständigeres Bild davon, wie algorithmische Systeme funktionieren.

#Intervenr: Ein Werkzeug für sozialtechnisches Audit

Intervenr ist eine webbasierte Plattform, die für die Durchführung sozialtechnischer Audits entwickelt wurde. Sie besteht aus einer Browsererweiterung und einer Webanwendung, die zusammenarbeiten, um Daten zu sammeln, während User im Internet surfen. Das System sammelt Informationen über die Erfahrungen der User, wie z.B. die Anzeigen, die sie sehen, und ermöglicht Forschern, diese Erfahrungen in Echtzeit zu verändern.

#Wie funktioniert Intervenr?

Die Plattform arbeitet in zwei Hauptphasen. In der ersten Phase sammelt sie Basisdaten über die Interaktionen des Users mit Online-Inhalten. Dazu gehört die Verfolgung der Arten von Anzeigen, die angezeigt werden, und wie User damit interagieren. In der zweiten Phase können Forscher den Inhalt, den User sehen, ändern, z.B. indem sie Anzeigen zwischen Usern austauschen, um zu sehen, wie diese Änderungen ihre Interaktionen und Gefühle zu den Anzeigen beeinflussen.

#Fallstudie: Gezielte Online-Werbung

Wir haben das sozialtechnische Audit in einer zweiwöchigen Studie zur gezielten Online-Werbung angewendet. Das Ziel war zu untersuchen, ob personalisierte Anzeigen effektiver sind als nicht gezielte. Die Studie umfasste die Sammlung von Daten über die Werbeerfahrungen der User und die Analyse, wie sie auf personalisierte Anzeigen im Vergleich zu ausgetauschten Anzeigen reagierten.

#Studiendesign

Die Teilnehmer der Studie wurden online rekrutiert. Wir haben versucht, eine diverse Gruppe von Usern in Bezug auf Alter, Rasse und Geschlecht zu bekommen. Die Studie dauerte zwei Wochen, während derer wir Daten über die Anzeigen sammelten, die die Teilnehmer sahen, und wie sie darüber dachten.

In der ersten Woche sammelten wir Daten zu den personalisierten Anzeigen, die den Teilnehmern gezeigt wurden. In der zweiten Woche führten wir die Werbe-Austauschintervention ein, bei der Teilnehmer gepaart wurden und die Anzeigen, die sie sahen, austauschten. Das wurde gemacht, um zu verstehen, wie User sich an verschiedene Anzeigen gewöhnen.

#Gesammelte Metriken

Während der Studie haben wir mehrere Faktoren gemessen, die mit dem Engagement der User mit Anzeigen zusammenhängen. Dazu gehörten:

• Interesse der User an Anzeigen.
• Gefühle der Repräsentation bezüglich der angezeigten Anzeigen.
• Wiedererkennung der angesehenen Anzeigen.
• Die Anzahl der Klicks auf die Anzeigen.

Diese Metriken halfen uns, die Effektivität von personalisierten Anzeigen im Vergleich zu ausgetauschten Anzeigen zu vergleichen.

#Ergebnisse der Fallstudie

Die Ergebnisse unseres zweiwöchigen Audits zeigten, dass personalisierte Anzeigen im Allgemeinen besser darin waren, User zu engagieren als ausgetauschte Anzeigen. Allerdings fanden wir auch interessante Muster im Nutzerverhalten:

1. Effektivität der Anzeigen: Personalisierte Anzeigen führten zu höherem Interesse und einem stärkeren Gefühl der Repräsentation bei den Usern.
2. User-Akklimatisierung: Nach nur einer Woche Exposition begannen User, eine Affinität zu den Anzeigen zu zeigen, die sie von ihren Tauschpartnern erhielten, was darauf hindeutet, dass wiederholte Exposition gegenüber einem Set von Anzeigen Interesse wecken könnte, selbst wenn diese Anzeigen ursprünglich nicht auf sie zielten.
3. Falsche Wiedererkennung: Es gab ein signifikantes Niveau an falscher Wiedererkennung von Anzeigen, bei denen Teilnehmer angaben, Anzeigen zu erinnern, die sie tatsächlich nicht gesehen hatten. Das passierte oft, wenn ihnen Anzeigen gezeigt wurden, die ähnlich waren wie das, was sie normalerweise sahen.

Diese Ergebnisse stellen die Annahme in Frage, dass gezielte Anzeigen von Natur aus überlegen sind, und deuten darauf hin, dass User sich relativ schnell an verschiedene Werbestrategien gewöhnen können.

#Implikationen der sozialtechnischen Audits

Die Erkenntnisse aus sozialtechnischen Audits können erhebliche Auswirkungen darauf haben, wie wir algorithmische Systeme verstehen und gestalten.

#Politische Überlegungen

Da gezielte Werbung immer verbreiteter wird, besteht ein dringender Bedarf, sicherzustellen, dass diese Systeme gerecht arbeiten. Sozialtechnische Audits können helfen, Vorurteile in Werbepraktiken aufzudecken und sicherzustellen, dass marginalisierte Gruppen nicht negativ von algorithmischer Zielgerichtetheit betroffen sind.

#User-Empowerment

Indem wir die Auswirkungen algorithmischer Systeme auf User verstehen, können Forscher Methoden entwickeln, die User empowern. Dazu könnte gehören, User mehr Kontrolle über die Anzeigen zu geben, die sie sehen, oder ihnen die Möglichkeit zu geben, Feedback zu ihren Erfahrungen zu geben.

#Zukünftige Forschung

Das Konzept des sozialtechnischen Audits eröffnet viele Möglichkeiten für zukünftige Forschung. Wir ermutigen Studien, die sich mit folgenden Themen beschäftigen:

• Verschiedene Arten von Algorithmen jenseits von Werbung.
• Langfristige Auswirkungen der Exposition gegenüber Algorithmen über einen längeren Zeitraum.
• User-zentrierte Designs, die User direkt in den Auditprozess einbeziehen.

#Fazit

Zusammenfassend bietet das sozialtechnische Audit einen umfassenderen Ansatz zum Verständnis algorithmischer Systeme, indem es sowohl technische als auch User-Komponenten berücksichtigt. Die Intervenr-Plattform zeigt, wie diese Methode in realen Szenarien angewendet werden kann und wertvolle Einblicke in die Effektivität von Algorithmen wie denjenigen, die in der gezielten Werbung verwendet werden, bietet.

Wenn wir weitermachen, wird es entscheidend sein, die Wechselwirkungen zwischen Technologie und Usern weiter zu erkunden. So können wir transparentere, gerechtere und effektivere Systeme schaffen, die den Bedürfnissen aller User gerecht werden.