Umfrage zeigt Experteneinigkeit zu Sicherheitspraktiken für KI
Experten sind sich einig über wichtige Sicherheitsmassnahmen für die Entwicklung und den Einsatz von KI.
― 10 min Lesedauer
Inhaltsverzeichnis
Viele der führenden KI-Unternehmen, darunter OpenAI und Google DeepMind, haben sich zum Ziel gesetzt, fortschrittliche KI-Systeme zu entwickeln, die menschliche Intelligenz in verschiedenen Aufgaben erreichen oder übertreffen können. Während sie auf dieses ehrgeizige Ziel hinarbeiten, könnten diese Unternehmen KI-Systeme entwickeln, die erhebliche Risiken darstellen. Obwohl einige Schritte unternommen wurden, um diese Risiken zu mindern, sind klare Best Practices für Sicherheit und Governance noch nicht etabliert.
Um herauszufinden, was Experten für notwendig halten, wurde eine Umfrage an 92 führende Fachleute aus KI-Forschungslabors, Universitäten und zivilen Organisationen geschickt, von denen 51 geantwortet haben. Die Teilnehmer wurden gebeten, ihre Zustimmung zu 50 Aussagen zu den Sicherheits- und Governance-Praktiken, die KI-Labore anwenden sollten, zu bewerten. Die Ergebnisse zeigten, dass die meisten Teilnehmer im Durchschnitt alle Aussagen unterstützten.
Die Ergebnisse können als Ausgangspunkt dienen, um Best Practices, Standards und Vorschriften für KI-Labore zu schaffen.
Wichtigste Ergebnisse
Insgesamt waren sich die Befragten einig, dass KI-Labore die meisten der aufgeführten Sicherheits- und Governance-Praktiken übernehmen sollten. Bei allen bis auf eine Praxis stimmten die meisten Befragten entweder teilweise oder voll und ganz deren Umsetzung zu. Der durchschnittliche Zustimmungswert für die Praktiken lag bei etwa 85,2%.
Besonders einig waren sich die Befragten darüber, dass KI-Labore Risikoanalysen durchführen sollten, bevor sie Modelle einsetzen, gefährliche Fähigkeiten bewerten, externe Audits haben, Sicherheitsbeschränkungen festlegen und Red-Teaming-Übungen durchführen sollten. Konkret stimmten 98% der Befragten zu, dass diese Praktiken umgesetzt werden sollten.
Interessanterweise zeigten Experten, die in KI-Labors arbeiten, im Durchschnitt ein höheres Mass an Zustimmung als diejenigen aus der Wissenschaft oder der Zivilgesellschaft. Bei den einzelnen Punkten wurden jedoch keine signifikanten Unterschiede zwischen diesen Gruppen festgestellt.
Politische Implikationen
KI-Labore können diese Ergebnisse nutzen, um interne Überprüfungen durchzuführen, um festzustellen, welche Sicherheitspraktiken sie noch nicht umgesetzt haben. Die Ergebnisse ermutigen Labore, ihre Verpflichtungen wie externe Audits ernst zu nehmen und ihre Risikomanagementstrategien zu verbessern.
In den USA, wo die Bedenken hinsichtlich KI wachsen, können Regulierungsbehörden diese Ergebnisse nutzen, um Prioritäten für die Umsetzung von Vorschriften festzulegen. In der Europäischen Union kann diese Information helfen, die Debatte über die vorgeschlagenen KI-Vorschriften zu gestalten. Ähnlich können die Ergebnisse im Vereinigten Königreich helfen, neue Vorschriften für KI zu entwerfen.
Diese Ergebnisse könnten auch zu laufenden Initiativen beitragen, die darauf abzielen, gemeinsame Sicherheitsprotokolle für grosse KI-Modelle zu entwickeln und bestehende Risikomanagementrahmen auf den Kontext von allgemeinen KI-Systemen anzupassen.
Hintergrund
In den letzten Monaten wurden mehrere leistungsstarke KI-Systeme eingeführt, die nun von Millionen Menschen weltweit genutzt werden. Führende KI-Unternehmen haben zunehmend erklärt, dass ihr ultimatives Ziel die Entwicklung künstlicher allgemeiner Intelligenz (AGI) ist. Dieser Begriff bezieht sich auf KI-Systeme, die die menschliche Leistung in verschiedenen kognitiven Aufgaben erreichen oder übersteigen können.
Da die Diskussionen über AGI in der politischen und öffentlichen Debatte an Fahrt gewinnen, gibt es Bestrebungen, Standards und Vorschriften für Organisationen zu schaffen, die auf dieses Ziel hinarbeiten. Viele Fragen zu diesen Standards und Vorschriften bleiben jedoch unbeantwortet.
Ziel der Studie
Diese Umfrage zielt darauf ab, die Meinungen von Experten zu den besten Praktiken in der Sicherheit und Governance von AGI zu sammeln. Ziel ist es, herauszufinden, welche Praktiken breite Unterstützung finden und in welchen Bereichen noch Entwicklungsbedarf besteht. Durch das Sammeln von Meinungen können die Ergebnisse zur Diskussion über Best Practices in der AGI-Sicherheit und -Governance beitragen.
Die Umfrage umfasste 50 Aussagen zu potenziellen Sicherheits- und Governance-Praktiken für AGI. Die Hoffnung ist, dass KI-Labore diese aufkommenden Best Practices freiwillig übernehmen, aber diese Ergebnisse könnten auch regulatorische Bemühungen und Standardsetzungsprozesse informieren.
Verwandte Arbeiten
Während einige KI-Labore Informationen über ihre Governance-Praktiken teilen, scheint es keine unabhängige Initiative zu geben, um spezifische Best Practices für die AGI-Governance zu schaffen. Allerdings gibt es laufende Initiativen, die darauf abzielen, Sicherheitsprotokolle für allgemeine KI-Systeme zu entwickeln, zu denen auch einige AGI-Labore gehören.
Bemerkenswert ist, dass verschiedene Organisationen daran arbeiten, die KI-Risikomanagementstandards besser auf die Bedürfnisse von Entwicklern zu zuschneiden, die sich auf allgemeine KI-Systeme konzentrieren. Diese Bemühungen betonen die Bedeutung der Schaffung von Standards und Best Practices zur Minderung von Risiken im Zusammenhang mit KI-Technologien.
Terminologie
In dieser Umfrage bezieht sich "AGI" auf KI-Systeme, die menschliche Leistung in einem breiten Spektrum kognitiver Aufgaben erreichen oder übertreffen können. Während es keine allgemein akzeptierte Definition von AGI gibt, wird sie mit verschiedenen Begriffen in Zusammenhang gebracht, die sich auf fortgeschrittene KI-Fähigkeiten beziehen.
Für die Zwecke dieses Papiers beziehen sich "AGI-Labore" auf Organisationen, die speziell darauf abzielen, AGI zu bauen, darunter OpenAI, Google DeepMind und Anthropic. Diese Labore sind Orte, an denen Sicherheits- und Governance-Praktiken erheblichen Einfluss auf die Entwicklung von KI-Technologien haben können.
Überblick über die Umfrage
Das Papier ist in Abschnitte gegliedert, die die Stichprobe, den Umfragedesign, die Ergebnisse, politische Implikationen, Einschränkungen und Vorschläge für zukünftige Arbeiten diskutieren.
Stichprobengrösse und -auswahl
Die Umfrage wurde an 92 Experten geschickt und erhielt 51 Antworten, was zu einer Rücklaufquote von 55,4% führte. Die Teilnehmer wurden aus verschiedenen Sektoren ausgewählt, darunter AGI-Labore, Wissenschaft, Zivilgesellschaft und andere.
Die Experten wurden basierend auf ihrem Wissen und ihrer Erfahrung im Zusammenhang mit AGI-Sicherheit und -Governance ausgewählt, um eine vielfältige Repräsentation der Meinungen in den Antworten sicherzustellen.
Umfragedesign
Die Befragten mussten vor der Teilnahme an der Umfrage zustimmen. Sie begann mit der Definition von Schlüsselbegriffen im Zusammenhang mit AGI, gefolgt von Aussagen zu den Praktiken, die KI-Labore in Betracht ziehen sollten. Es wurden auch demografische Informationen gesammelt, einschliesslich Geschlecht und Arbeitssektor.
Die Befragten hatten die Möglichkeit, zusätzliche Praktiken vorzuschlagen, die sie für wichtig für die AGI-Sicherheit und -Governance hielten.
Antworten und Analyse
Die gesammelten Daten wurden analysiert, um das Mass an Zustimmung zu jeder Aussage zu bewerten. Die Antworten wurden nach Prozentsätzen der Zustimmungen und Durchschnittswerten organisiert, um den Gesamt-Konsens zu beurteilen.
Zustimmungsebene
Die Umfrageergebnisse zeigten ein signifikantes Mass an Zustimmung unter den Teilnehmern hinsichtlich der Notwendigkeit verschiedener Sicherheits- und Governance-Praktiken. Das hohe Mass an Zustimmung zu Sicherheitsmassnahmen zeigt den starken Wunsch nach verantwortungsbewusster Entwicklung in KI-Laboren.
Unter den Praktiken mit der höchsten Zustimmung waren die Durchführung von Risikoanalysen vor der Bereitstellung, Bewertungen gefährlicher Fähigkeiten und externe Audits. Diese Praktiken wurden als entscheidend erachtet, um die mit KI-Technologien verbundenen Risiken zu managen.
Unterschiede zwischen Sektoren und Geschlechtern
Die Analyse untersucht auch Unterschiede in den Antworten, basierend auf dem Sektor der Befragten und ihrem Geschlecht. Während die allgemeine Zustimmung in allen Gruppen in der Regel hoch war, gab es einige bemerkenswerte Unterschiede.
Unterschiede nach Sektor
Experten aus AGI-Laboren zeigten im Durchschnitt ein höheres Mass an Zustimmung im Vergleich zu denen aus der Wissenschaft und der Zivilgesellschaft. Dennoch wurden bei der Betrachtung einzelner Punkte keine signifikanten Unterschiede in der Zustimmung festgestellt.
Unterschiede nach Geschlecht
Es wurden keine signifikanten Unterschiede in den Antworten zwischen männlichen und weiblichen Teilnehmern festgestellt. Das deutet darauf hin, dass Bedenken hinsichtlich der KI-Sicherheit und -Governance geschlechtsübergreifend geteilt werden.
Vorgeschlagene Praktiken
Neben den 50 in der Umfrage enthaltenen Praktiken schlugen die Befragten weitere einzigartige Sicherheits- und Governance-Massnahmen für AGI-Labore vor. Dies unterstreicht die Notwendigkeit einer breiteren Erkundung von Praktiken, die die verantwortungsvolle Governance verbessern könnten.
Mehrere der vorgeschlagenen Praktiken betonten, die Öffentlichkeit in Diskussionen über Risiken einzubeziehen, die Transparenz zu erhöhen und sicherzustellen, dass ethische Überlegungen die Entwicklung von KI-Systemen leiten.
Fazit
Die Umfrage zeigt, dass ein starkes Einvernehmen unter den Experten besteht, eine Reihe von Sicherheits- und Governance-Praktiken in AGI-Labors umzusetzen. Mit 98% der Teilnehmer, die der Bedeutung von Praktiken wie Risikoanalysen und externen Audits zustimmen, verdeutlichen die Ergebnisse die Dringlichkeit für Organisationen, diese Massnahmen zu ergreifen.
Da die Diskussion über die Sicherheit und Governance von AGI an Bedeutung gewinnt, gibt es die Möglichkeit zur Zusammenarbeit zwischen verschiedenen Akteuren, um eine verantwortungsvolle KI-Entwicklung sicherzustellen. Die Erkenntnisse aus dieser Umfrage können dazu beitragen, zukünftige Richtlinien und Standards im Bereich der künstlichen Intelligenz zu gestalten.
Danksagungen
Dank wird allen Teilnehmern ausgesprochen, die ihre Gedanken durch die Umfrage beigetragen und an den anschliessenden Diskussionen teilgenommen haben. Ohne ihre Einblicke und ihr Engagement wäre diese Forschung nicht möglich gewesen. Die Autoren erkennen die Bedeutung vielfältiger Perspektiven für die Gestaltung der Zukunft der KI-Governance an.
Anhang: Liste der Aussagen
Die folgende Liste präsentiert die in der Umfrage verwendeten Aussagen, geordnet nach dem von den Befragten zum Ausdruck gebrachten Zustimmungsgrad. Jede Aussage befasst sich mit einem bestimmten Aspekt von Sicherheit und Governance, den KI-Labore in Betracht ziehen sollten.
- Risikoanalyse vor der Bereitstellung: AGI-Labore sollten umfassende Massnahmen ergreifen, um Risiken von leistungsstarken Modellen vor deren Einsatz zu identifizieren, zu analysieren und zu bewerten.
- Bewertungen gefährlicher Fähigkeiten: AGI-Labore sollten Bewertungen durchführen, um die gefährlichen Fähigkeiten ihrer Modelle zu bewerten.
- Externe Audits von Modellen: AGI-Labore sollten externe Audits von Modellen in Auftrag geben, bevor sie leistungsstarke Modelle bereitstellen.
- Sicherheitsbeschränkungen: AGI-Labore sollten geeignete Sicherheitsbeschränkungen für leistungsstarke Modelle nach der Bereitstellung festlegen.
- Red-Teaming: AGI-Labore sollten externe Red-Teams beauftragen, bevor sie leistungsstarke Modelle bereitstellen.
- Systeme und deren Nutzung überwachen: AGI-Labore sollten die eingesetzten Systeme und deren gesellschaftliche Auswirkungen genau überwachen.
- Abstimmungstechniken: AGI-Labore sollten modernste Sicherheits- und Abstimmungstechniken implementieren.
- Plan für die Reaktion auf Sicherheitsvorfälle: AGI-Labore sollten einen Plan für die Reaktion auf Sicherheitsvorfälle haben.
- Bewertungen nach der Bereitstellung: AGI-Labore sollten Modelle nach der Bereitstellung kontinuierlich auf gefährliche Fähigkeiten bewerten.
- Meldung von Sicherheitsvorfällen: AGI-Labore sollten Unfälle und Beinahe-Unfälle an die zuständigen staatlichen Akteure und andere AGI-Labore melden.
Die verbleibenden Aussagen folgen ähnlichen Themen, die sich auf Transparenz, externe Überprüfung und die Entwicklung ethischer Richtlinien innerhalb von KI-Labors konzentrieren. Jede Aussage spiegelt die kollektiven Meinungen von Experten zu den besten Praktiken für eine verantwortungsvolle KI-Governance wider.
Zusätzliche Vorschläge
Die Teilnehmer legten Vorschläge zur weiteren Verbesserung der Sicherheits- und Governance-Massnahmen in AGI-Labors vor, was das kollektive Engagement zur Verbesserung der Standards in der KI-Entwicklung widerspiegelt. Diese Vorschläge können in verschiedene Bereiche kategorisiert werden:
- Öffentlichkeitsbeteiligung: AGI-Labore sollten die Öffentlichkeit in Diskussionen über akzeptable Risiken und Governance-Modelle einbeziehen.
- Transparenz: AGI-Labore sollten offenlegen, woher ihre Trainingsdaten stammen und welche Sicherheitsmassnahmen sie umsetzen.
- Ethische Standards: AGI-Labore sollten ethische Prinzipien festlegen und sicherstellen, dass ihre Governance-Strukturen gesellschaftliche Vorteile über Profit stellen.
Die Bandbreite der Vorschläge verstärkt die Vorstellung, dass ein kooperativer Ansatz, der die Einbeziehung verschiedener Interessengruppen umfasst, entscheidend für die Gestaltung einer effektiven Governance in der sich schnell entwickelnden Landschaft der künstlichen Intelligenz ist.
Zukünftige Richtungen
Für die Zukunft besteht ein kritischer Bedarf an laufender Forschung und Zusammenarbeit zwischen Experten aus mehreren Disziplinen, um die Komplexität der KI-Sicherheit und -Governance anzugehen. Dazu gehören:
- Umfassende Umfragen: Durchführung grösserer und inklusiverer Umfragen, um unterschiedliche Perspektiven von verschiedenen Interessengruppen zu sammeln.
- Öffentliche Beteiligung: Förderung der öffentlichen Beteiligung an Diskussionen über KI-Risiken und -Governance, um das Bewusstsein und die Verantwortung zu erhöhen.
- Kontinuierliche Bewertung: Aktualisierung und Verfeinerung von Best Practices basierend auf neuen Erkenntnissen und Entwicklungen im Bereich KI.
Durch diese Schritte können wir auf eine verantwortungsbewusste und ethisch geleitete Zukunft in der künstlichen Intelligenz hinarbeiten. Die Zusammenarbeit von Forschern, politischen Entscheidungsträgern und der Öffentlichkeit wird entscheidend dafür sein, dass KI-Technologien sicher, transparent und gesellschaftlich vorteilhaft entwickelt und eingesetzt werden.
Titel: Towards best practices in AGI safety and governance: A survey of expert opinion
Zusammenfassung: A number of leading AI companies, including OpenAI, Google DeepMind, and Anthropic, have the stated goal of building artificial general intelligence (AGI) - AI systems that achieve or exceed human performance across a wide range of cognitive tasks. In pursuing this goal, they may develop and deploy AI systems that pose particularly significant risks. While they have already taken some measures to mitigate these risks, best practices have not yet emerged. To support the identification of best practices, we sent a survey to 92 leading experts from AGI labs, academia, and civil society and received 51 responses. Participants were asked how much they agreed with 50 statements about what AGI labs should do. Our main finding is that participants, on average, agreed with all of them. Many statements received extremely high levels of agreement. For example, 98% of respondents somewhat or strongly agreed that AGI labs should conduct pre-deployment risk assessments, dangerous capabilities evaluations, third-party model audits, safety restrictions on model usage, and red teaming. Ultimately, our list of statements may serve as a helpful foundation for efforts to develop best practices, standards, and regulations for AGI labs.
Autoren: Jonas Schuett, Noemi Dreksler, Markus Anderljung, David McCaffary, Lennart Heim, Emma Bluemke, Ben Garfinkel
Letzte Aktualisierung: 2023-05-11 00:00:00
Sprache: English
Quell-URL: https://arxiv.org/abs/2305.07153
Quell-PDF: https://arxiv.org/pdf/2305.07153
Lizenz: https://creativecommons.org/licenses/by/4.0/
Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.
Vielen Dank an arxiv für die Nutzung seiner Open-Access-Interoperabilität.