Wichtige Checkliste für Machine Learning Forschung

Diese Checkliste soll Forschern helfen, sicherzustellen, dass ihre Arbeiten die besten Praktiken im Bereich maschinelles Lernen befolgen. Sie deckt wichtige Bereiche ab wie Reproduzierbarkeit, Transparenz, Ethische Überlegungen und gesellschaftliche Auswirkungen. Die Checkliste sollte zusammen mit der Arbeit eingereicht werden und ist ein wesentlicher Bestandteil des Einreichungsprozesses.

#Ansprüche und Beiträge

• Klare Ansprüche: Die Zusammenfassung und Einleitung sollten klar erklären, was die Arbeit beansprucht. Dazu gehört die Angabe der geleisteten Beiträge und das Nennen wichtiger Annahmen oder Einschränkungen. Wenn die gemachten Ansprüche nicht mit den Ergebnissen übereinstimmen, könnte das schlecht für die Arbeit sein.
• Einschränkungen: Die Arbeit muss alle Einschränkungen ansprechen. Wenn es keine gibt, sollte das auch gesagt werden. Ein separater Abschnitt "Einschränkungen" wird empfohlen.
• Annahmen: Die Arbeit sollte starke Annahmen klar formulieren und diskutieren, wie robust die Ergebnisse sind, wenn diese Annahmen verletzt werden.
• Umfang der Ansprüche: Die Autoren sollten reflektieren, wie weit die Ansprüche gelten, besonders wenn der Ansatz nur an wenigen Datensätzen oder Durchläufen getestet wurde.
• Leistungsfaktoren: Diskutiert, wie verschiedene Faktoren die Leistung der Methode beeinflussen können. Zum Beispiel könnte ein Gesichtserkennungssystem mit minderwertigen Bildern Schwierigkeiten haben.
• Rechenleistungseffizienz: Diskutiert, wie die vorgeschlagenen Methoden mit verschiedenen Datensatzgrössen abschneiden.
• Privatsphäre und Fairness: Wenn zutreffend, sollten alle Einschränkungen bezüglich Privatsphäre und Fairness angesprochen werden.

#Theoretische Annahmen und Beweise

• Theoretische Ergebnisse: Wenn die Arbeit theoretische Ergebnisse enthält, sollten alle Theoreme und Beweise nummeriert und referenziert werden.
• Annahmen in Theoremen: Alle Annahmen sollten in den Theoremen klar genannt werden.
• Beweise: Beweise können in der Hauptarbeit oder im ergänzenden Material sein. Wenn im ergänzenden Material, wird eine kurze Zusammenfassung empfohlen.
• Referenzen: Theoreme und Beweise, auf die verwiesen wird, sollten korrekt referenziert werden.

#Experimentelle Ergebnisse und Reproduzierbarkeit

• Experimente enthalten: Wenn die Arbeit Experimente enthält, sollte sie detailliert beschreiben, wie die Ergebnisse reproduziert werden können, auch wenn der Code und die Daten nicht bereitgestellt werden.
• Schritte zur Reproduzierbarkeit: Für Datensätze oder Modelle, skizziert die Schritte, die unternommen wurden, um sicherzustellen, dass die Ergebnisse reproduzierbar sind. Das könnte den Zugang zum Modell oder eine detaillierte Beschreibung der Architektur beinhalten.
• Code- und Datenfreigabe: Auch wenn es empfohlen wird, Code und Daten zu teilen, ist es akzeptabel, "Nein" zu sagen, wenn das Teilen nicht möglich ist. Die Arbeit muss jedoch einen vernünftigen Weg anbieten, damit andere die Ergebnisse reproduzieren können.
• Anleitungen: Klare Anleitungen zum Datenzugriff und zur Vorbereitung für die Reproduzierbarkeit einfügen.

#Experimentelle Einrichtung und Details

• Details zu Experimenten: Die Arbeit sollte genug Einzelheiten zur experimentellen Einrichtung bieten, damit andere verstehen, wie die Ergebnisse erzielt wurden.
• Statistische Signifikanz: Wenn zutreffend, sollten Ergebnisse mit Fehlerbalken, Konfidenzintervallen oder Signifikanztests begleitet werden. Autoren sollten klar erklären, wie diese berechnet wurden.

#Rechenressourcen

• Rechenanforderungen: Die Arbeit sollte angeben, welche Art von Hardware (CPU oder GPU) verwendet wurde und wie viel Rechenleistung für die Experimente benötigt wurde.
• Gesamtschätzung der Rechenleistung: Einschätzungen der gesamten für das Projekt verwendeten Rechenleistung einfügen, nicht nur für die berichteten Experimente.

#Ethikkodex

• Ethikprüfung: Autoren sollten bestätigen, ob sie den Ethikkodex überprüft haben, und gegebenenfalls Abweichungen erklären.

#Breitere Auswirkungen

• Gesellschaftliche Auswirkungen: Diskutiert mögliche negative gesellschaftliche Auswirkungen der Forschung. Das kann Missbrauch der Technologie, Datenschutzprobleme oder Fairnessüberlegungen beinhalten.
• Minderungsstrategien: Wenn es negative Auswirkungen gibt, sollten die Autoren diskutieren, wie sie diese Risiken angehen könnten.

#Bestehende Ressourcen

• Zitation von Ressourcen: Die Arbeit sollte alle bestehenden Datensätze oder Codes, die in der Forschung verwendet wurden, zitieren. Sie sollte auch die verwendete Version angeben und die Lizenzinformationen einschliessen.

#Neue Ressourcen

• Details zu neuen Ressourcen: Wenn die Arbeit neue Datensätze oder Modelle einführt, sollte sie wichtige Details wie Training, Lizenzierung und Einschränkungen kommunizieren.
• Zustimmung: Falls zutreffend, diskutiert, ob die Zustimmung von Personen eingeholt wurde, deren Daten enthalten sind.

#Crowdsourcing und Menschliche Probanden

• Details zur Forschung mit Menschen: Wenn die Forschung menschliche Probanden einbezieht, so viel Detail wie möglich über die Forschungsmethoden und Probanden bereitstellen.

#Genehmigungen der Ethikkommission (IRB)

• Ethikgenehmigung: Falls erforderlich, angeben, ob eine IRB-Genehmigung für Forschung mit menschlichen Probanden eingeholt wurde.

#Fazit

Diese Checkliste zielt darauf ab, hohe Standards in der Forschung zum maschinellen Lernen zu fördern. Indem sie diese Richtlinien befolgen, können Forscher sicherstellen, dass ihre Arbeit verantwortlich, transparent und wirkungsvoll ist.