Auditing von Machine-Learning-Systemen: Ein praktischer Ansatz

Die Nutzung von Machine Learning (ML) Systemen wächst rasant, aber das bringt viele ethische Fragen und öffentliche Bedenken mit sich. Es gibt einen klaren Bedarf, diese Systeme zu überprüfen, um sicherzustellen, dass sie ethische Standards einhalten. Damit die Überprüfung zur Standardpraxis wird, müssen zwei wichtige Dinge vorhanden sein: ein Lebenszyklusmodell, das Transparenz und Verantwortlichkeit betont, und ein Risikobewertungsprozess, der die Überprüfung effektiv leitet.

In diesem Artikel erklären wir einen praktischen Ansatz zur Überprüfung von ML-Systemen, der auf Richtlinien basiert, die von der Europäischen Kommission entwickelt wurden. Unsere Überprüfungsmethode basiert auf einem Lebenszyklusmodell, das sich auf Dokumentation, Verantwortlichkeit und Qualitätskontrollen konzentriert, um ein gemeinsames Verständnis zwischen den Prüfern und den überprüften Organisationen zu schaffen.

Wir beschreiben zwei Pilotstudien mit realen ML-Projekten, diskutieren die Herausforderungen bei der Überprüfung von ML-Systemen und schlagen zukünftige Verbesserungen vor.

#Der Bedarf an der Überprüfung von ML-Systemen

Mit dem Aufstieg der ML-Technologien sind Fragen zur ethischen Nutzung und dem Potenzial für Bias sehr wichtig geworden. Viele Organisationen haben ihre eigenen Richtlinien zur ethischen KI erstellt, aber diese Dokumente ändern oft nicht, wie Entwickler tatsächlich Entscheidungen treffen. Das liegt hauptsächlich daran, dass diese Richtlinien oft zu vage sind und praktische Werkzeuge zu ihrer Unterstützung normalerweise fehlen. Infolgedessen fühlen sich Entwickler vielleicht weniger verantwortlich für ihre Entscheidungen.

Eine Lösung für dieses Problem ist es, Prüfprozesse bei der Gestaltung und dem Betrieb von ML-Systemen anzuwenden. Prüfungen können helfen, Verantwortlichkeit sicherzustellen und die ethischen Richtlinien effektiver zu machen. Prüfungen können entweder intern von Personen in derselben Organisation oder von einer externen Partei durchgeführt werden, die oft als vertrauenswürdiger angesehen wird, besonders bei risikobehafteten Anwendungen.

Während externe Prüfungen teuer sein können, bieten sie oft mehr Vertrauen für die Stakeholder. Auf der anderen Seite können interne Prüfungen eine bessere Dokumentation und Risikobewertungen fördern, was die gesamte Nachvollziehbarkeit der überprüften Systeme erhöht.

#Die Herausforderungen der Überprüfung

Eine effektive Durchführung von Prüfungen erfordert klare Bedingungen. Sowohl die Prüfer als auch die Organisationen müssen die Erwartungen und Praktiken während des Prüfprozesses verstehen. Dazu gehört die Definition von Standards, die Sammlung von Beweisdokumenten, Tests und die Rollen der verschiedenen beteiligten Personen.

Es gibt jedoch einen Mangel an Standardpraktiken zur Risikobewertung in ML-Systemen. Wir schlagen einen neuen Prüfansatz vor, der von bestehenden Praktiken der Prüfung von Informationssystemen inspiriert ist und darauf abzielt, diese Herausforderungen zu bewältigen.

#Das vorgeschlagene Prüfverfahren

Unser Prüfverfahren besteht aus drei Hauptphasen: Planung, Feldarbeit/Dokumentation und Berichterstattung. Auch wenn diese Phasen sequenziell erscheinen, ist es wichtig zu beachten, dass die Prüfung von ML-Systemen ein fortlaufender Prozess sein sollte, der die schnellen Veränderungen und Iterationen widerspiegelt, die oft in der ML-Entwicklung vorkommen.

#Planungsphase

Die Planungsphase zielt darauf ab, den Umfang der Prüfung festzulegen und einen Fahrplan für die folgenden Phasen zu erstellen. Dazu gehört die Überprüfung vorheriger Prüfberichte und die Durchführung einer Risikobewertung. Es ist wichtig, die benötigten Ressourcen und Fähigkeiten für die Prüfung zu bestimmen, was oft ein Team mit unterschiedlichen Hintergründen erfordert, um die Komplexität der ML-Systeme abzudecken.

Ein gutes Verständnis der Gesamtarchitektur des Systems und der Prozesse, die an der Erstellung und Bereitstellung von ML-Modellen beteiligt sind, ist in dieser Phase entscheidend. Um dies zu erreichen, folgen wir einem Lebenszyklusmodell, das Ethische Prinzipien betont und wichtige Risiken identifiziert.

#Lebenszyklusmodell

Ein Lebenszyklusmodell dient als gemeinsame Referenz für sowohl Prüfer als auch die überprüften Organisationen. Die meisten bestehenden Modelle konzentrieren sich stark auf technische Details und integrieren ethische Prinzipien wie Transparenz und Verantwortlichkeit nicht ausreichend.

Wir schlagen ein erweitertes Lebenszyklusmodell vor, das vier Hauptschritte umfasst: Formalisierung, Datenmanagement, Modellmanagement und Bereitstellung. Zusätzlich zu diesen Schritten führen wir drei wichtige Aspekte ein, die Verantwortlichkeit und Transparenz fördern:

1. Agilität jeder Phase: Anstatt den Lebenszyklus als einen linearen Prozess zu betrachten, behandelt unser Modell jede Phase als iterativ und betont die Notwendigkeit von Dokumentation und Qualitätskontrollen während des gesamten Prozesses.

2. Transparenz und Verantwortlichkeit: Unser Modell bringt die verschiedenen Phasen mit den Rollen und Verantwortlichkeiten der beteiligten Personen in Einklang, was klar macht, welche Dokumentation erstellt werden soll.

3. Laufende Wirkungsbewertung: Das Modell hebt die Bedeutung laufender Bewertungen hervor, wie das ML-System seine Nutzer und den Kontext, in dem es operiert, beeinflusst.

Die Zuordnung des überprüften Systems zu diesem Lebenszyklusmodell hilft dabei, relevante Phasen und Dokumente zu identifizieren, die gesammelt werden müssen, und die Risikobewertung entsprechend anzupassen.

#Risikobewertung

Eine effektive Prüfung basiert auf einer dokumentierten Wissensbasis potenzieller Risiken. Bei ML-Systemen kann es schwieriger sein, dieses Wissen zu sammeln. Unsere vorgeschlagene Risikobewertungsmethode nutzt das Lebenszyklusmodell, um die Analyse von Risiken zu vereinfachen, indem sie in handhabbare Komponenten unterteilt wird.

Durch die Nutzung bestehender Rahmenwerke wie der Bewertungs-Liste für vertrauenswürdige Künstliche Intelligenz (ALTAI) der Europäischen Kommission können wir relevante Fragen entwickeln, die in jeder Phase des Lebenszyklus gestellt werden sollen. Dies hilft sicherzustellen, dass die anschliessenden Feldarbeiten und die Dokumentation durch diese Fragen geleitet werden.

#Feldarbeit und Dokumentationsphase

In dieser Phase sammelt der Prüfer Beweise, um die Einhaltung von Vorschriften zu überprüfen und die Effektivität von Kontrollmassnahmen durch verschiedene Tests zu bewerten. Beweise können mit zwei Hauptmechanismen gesammelt werden:

1. Transparenzmechanismen: Dazu gehört die Überprüfung von Informationen, die von den Entwicklern offengelegt wurden, wie Datenblätter und Modellkarten.

2. Prüfbarkeit-Mechanismen: Hier führt der Prüfer Experimente direkt am System durch, um die vorher gegebenen Informationen zu validieren.

Sobald die Beweise gesammelt sind, kann der Prüfer Compliance-Tests durchführen, die überprüfen, ob es Abweichungen zwischen den Spezifikationen der Organisation und der tatsächlichen Umsetzung gibt. Dies kann helfen, Schwächen in der Qualitätsbewertung und Dokumentation zu identifizieren.

#Anpassung von Tests

In Fällen, in denen standardisierte Tests nicht ausreichen, können Prüfer eigene Tests erstellen, um Aspekte des ML-Systems zu bewerten, die möglicherweise nicht gründlich vom Entwicklungsteam geprüft wurden. Obwohl dieser Ansatz einige Inkonsistenzen in der Prüfung verursachen kann, ist er entscheidend, um sicherzustellen, dass alle relevanten Faktoren berücksichtigt werden.

#Berichterstattungsphase

Nach Abschluss der Prüfung fasst der Prüfer die Ergebnisse der verschiedenen Tests zusammen und definiert Kriterien für zukünftige Prüfungen. Dies könnte beinhalten, regelmässige Prüfungen einzuplanen oder sie durchzuführen, wenn wesentliche Änderungen im System auftreten oder das Nutzerfeedback auf ein Problem hinweist.

Der Prüfer sollte sicherstellen, dass alle empfohlenen Massnahmen zur Minderung vor der nächsten Prüfungsiteration umgesetzt werden.

#Fallstudien: Durchführung der Piloten

Unser Prüfverfahren wurde durch zwei Pilotstudien mit realen ML-Anwendungen getestet. Diese Piloten sollen keine universellen Vorlagen dienen, sondern den Dialog über Best Practices in der Prüfung von ML fördern.

#Pilot 1: KI-unterstütztes Kalibrierungssystem

Dieser Pilot betraf ein ML-System, das Kalibrierungsprozesse für Sicherheitskomponenten automatisiert, die traditionell manuell von Ingenieuren durchgeführt werden. Das Ziel ist es, Ingenieure zu unterstützen, ohne deren Fachwissen zu ersetzen.

Während der Prüfung konzentrierten wir uns auf die Prozesse der Formalisierung, des Modellmanagements und der Operationalisierung, da das vorherige Datenmanagement bereits überprüft wurde. Das Lebenszyklusmodell half, Diskussionen zu strukturieren und relevante Dokumentation zu identifizieren.

#Risikobewertung

Der Risikobewertungsprozess umfasste die Filterung von Fragen, die für die spezifischen Schritte des Lebenszyklusmodells relevant sind. Zu den wichtigsten ethischen Bedenken, die aus dieser Prüfung hervorgingen, gehörten Transparenz, Erklärbarkeit, Robustheit und Sicherheit.

1. Transparenz und Erklärbarkeit: Die Ausgabe des Systems ist klar, vermittelt jedoch nicht ausreichend die Unsicherheit, die mit seinen Empfehlungen verbunden ist. Verbesserungsvorschläge umfassten das Protokollieren von Nutzerauswahlen zur Validierung und das Durchführen von Experimenten zur Bewertung einer Überabhängigkeit von den Ergebnissen des Modells.

2. Robustheit und Sicherheit: Es besteht ein Bedarf an gründlicher Dokumentation von Entwurfsentscheidungen, Misserfolgen und der Überwachung nach der Markteinführung, um die Sicherheit zu gewährleisten. Darüber hinaus sollten empfohlene Leistungsgrenzen festgelegt werden.

#Pilot 2: Geriatronics-Projekt - Sichtsystem

Der zweite Pilot konzentrierte sich auf das Sichtmodul von GARMI, einer Robotik-Plattform, die älteren Menschen helfen soll. Dieses Projekt befand sich noch in der Forschungsphase, und obwohl ethische Bedenken zuvor angesprochen worden waren, war die Dokumentation für eine vollständige Prüfung unzureichend.

#Risikobewertung

Wir identifizierten mehrere ethische Anforderungen aus der ALTAI, die dokumentiert werden mussten. Die Prüfung zeigte die Notwendigkeit einer besseren Nachvollziehbarkeit der Daten- und Modellmanagementprozesse sowie die Einhaltung der Datenschutzbestimmungen.

Dokumentationsvorlagen könnten helfen, den Prozess zu rationalisieren, sodass das Team sich darauf konzentrieren kann, ethische Überlegungen in die Systementwicklung zu integrieren.

#Erkenntnisse aus den Piloten

Die Piloten hoben mehrere wichtige Erkenntnisse für zukünftige Prüfungen von ML-Systemen hervor:

1. Kriterien für die Auditierbarkeit: Nicht alle Systeme eignen sich für Prüfungen aufgrund von Einschränkungen beim Datenzugriff oder fehlender erforderlicher Dokumentation. Die Festlegung von Kriterien für die Auditierbarkeit vor der Planung ist entscheidend.

2. Keine Einheitslösung: Verschiedene ML-Systeme erfordern möglicherweise unterschiedliche Prüfansätze, basierend auf ihrem Risikoniveau und den spezifischen Kontexten.

3. Kontinuierliche Prüfung: Eine frühzeitige Zusammenarbeit zwischen Prüfern und Entwicklungsteams kann zu besserer Dokumentation und reduzierten Compliance-Kosten führen. Eine fortlaufende Zusammenarbeit während des Lebenszyklus des ML-Systems könnte helfen, Probleme früher zu erkennen und zukünftige Prüfungen zu erleichtern.

4. Datenbank dokumentierter Risiken: Die Pflege einer Datenbank vergangener Vorfälle und damit verbundener Risiken kann für zukünftige Prüfungen hilfreich sein. Ein solches Werkzeug würde helfen, effektive präventive Massnahmen zu entwickeln.

#Fazit

Dieser Artikel präsentiert einen praktischen Ansatz zur Prüfung von Machine Learning-Systemen, der darauf abzielt, ein gemeinsames Verständnis zwischen Praktikern und Prüfern zu schaffen. Unser vorgeschlagener Prozess beinhaltet ein Lebenszyklusmodell und eine Risikobewertungsmethode, die ethische Prinzipien integriert, um Verantwortlichkeit und Transparenz zu fördern.

Wir haben unsere Methodik anhand von realen Beispielen gezeigt und die Herausforderungen diskutiert, die in diesem Bereich weiterhin bestehen. Während sich die Landschaft von ML weiterentwickelt, wird es entscheidend sein, standardisierte Praktiken zu entwickeln und unsere Prüfmethoden anzupassen, um ethische und vertrauenswürdige KI-Systeme sicherzustellen.