Assurer une recherche responsable en apprentissage automatique
Un guide pour promouvoir des pratiques éthiques dans la recherche en apprentissage automatique.
― 6 min lire
Table des matières
- Répondre aux Questions de la Liste de Contrôle
- Réclamations dans l'Article
- Hypothèses et Robustesse
- Éthique et Impact Sociétal
- Accès au Code et aux Données
- Paramètres Expérimentaux
- Signification Statistique
- Ressources Informatiques
- Considérations Éthiques
- Ensembles de Données et Actifs
- Crowdsourcing et Sujets Humains
- Dernières Pensées
- Source originale
- Liens de référence
La liste de contrôle a pour but de promouvoir une recherche responsable en apprentissage automatique. Elle se concentre sur la Reproductibilité, la Transparence, l'éthique de la recherche et la compréhension de l'Impact sur la Société. Les articles qui ne comprennent pas cette liste de contrôle seront rejetés immédiatement. La liste doit être placée après les références et tout matériel supplémentaire optionnel. Elle ne compte pas dans la limite de pages.
Répondre aux Questions de la Liste de Contrôle
Pour chaque question, tu peux répondre "Oui", "Non" ou "NA". Répondre "NA" signifie que la question ne s'applique pas à cet article ou que l'information nécessaire n'est pas disponible. Après ta réponse, tu dois fournir une brève justification en une ou deux phrases, même pour "NA".
Les réponses à ces questions sont essentielles pour la soumission de ton article et seront visibles pour les examinateurs et les reviewers d'éthique. Tu devras inclure la liste de contrôle avec toutes révisions finales de ton article, et elle sera publiée avec l'article.
Les examinateurs prendront en compte la liste de contrôle lors de l'évaluation de ton article. Bien que "Oui" soit mieux que "Non", c'est ok de répondre "Non" si tu donnes une bonne raison, par exemple "les barres d'erreur ne sont pas rapportées en raison de coûts computationnels élevés". Répondre "NA" ou "Non" ne mènera pas à un rejet automatique. Utilise ton meilleur jugement et apporte des détails pour clarifier tes réponses.
Réclamations dans l'Article
Le résumé et l'introduction doivent clairement exprimer les principales revendications faites dans l'article, y compris ce que tu as contribué et toutes les hypothèses ou limitations essentielles. Si tu réponds "Non" ou "NA" à cette question, les examinateurs pourraient ne pas le voir favorablement. Les revendications doivent s'aligner avec la théorie et les résultats pratiques, indiquant dans quelle mesure les résultats peuvent être espérés dans d'autres situations.
Tu peux inclure des objectifs ambitieux comme motivation mais précise que ces objectifs ne sont pas atteints dans l'article. Si tu réponds "NA", cela implique que l'article n'a pas de limitations. Si tu réponds "Non", cela signifie que des limitations existent mais ne sont pas discutées. Il est suggéré de créer une section "Limitations" dans ton article.
Hypothèses et Robustesse
L'article doit mentionner toutes les hypothèses fortes et comment les résultats tiennent si ces hypothèses ne sont pas respectées. Par exemple, si les résultats dépendent de certaines conditions, elles doivent être discutées. De plus, réfléchis à la manière dont les revendications faites peuvent être limitées en fonction des ensembles de données ou des expériences effectuées.
Tu devrais également considérer quels facteurs impactent la performance de l'approche. Par exemple, un système pourrait mal fonctionner en cas de mauvaise qualité d'image ou de faible éclairage. Discute de l'efficacité des méthodes proposées et comment la performance peut changer avec différentes tailles de jeux de données.
Éthique et Impact Sociétal
L'honnêteté est vitale lorsque tu abordes les limitations. Les examinateurs ne te pénaliseront pas pour être transparent sur les lacunes. Si tu indiques que ton travail n'a pas d'impact sociétal, fournis une explication claire.
Discute de toutes les conséquences négatives possibles, y compris l'utilisation abusive de la technologie, des problèmes d'équité ou des préoccupations en matière de confidentialité. S'il y a des risques, mentionne les stratégies que tu envisages pour atténuer, comme surveiller l'utilisation ou limiter l'accès à une technologie potentiellement nuisible.
Accès au Code et aux Données
Si ton article ne comprend pas d'expériences, tu peux répondre "NA". Cependant, s'il comprend des expériences, il est crucial de fournir un moyen pour les autres de reproduire tes résultats. Cela pourrait être en partageant le code et les données, ou en donnant des instructions détaillées sur la façon de reproduire tes découvertes.
Tu devrais indiquer comment accéder aux données brutes, prétraitées et générées. Si seules certaines expériences sont reproductibles, spécifie lesquelles ne le sont pas et pourquoi. Bien qu'il soit encouragé de publier le code et les données, il est acceptable de ne pas le faire sauf si c'est essentiel à la contribution.
Paramètres Expérimentaux
Pour les articles comprenant des expériences, tu dois présenter la configuration expérimentale en suffisamment de détails pour que les lecteurs comprennent les résultats. Si l'article n'implique pas d'expériences, réponds "NA". Si c'est le cas, fournis tous les détails nécessaires soit dans l'article principal, soit dans le matériel supplémentaire.
Signification Statistique
Si ton article contient des expériences, tu dois indiquer si les résultats comportent des barres d'erreur, des intervalles de confiance ou des tests de signification statistique. Explique quelle variabilité les barres d'erreur capturent et comment tu les as calculées. Sois clair sur les hypothèses impliquées dans ce processus également.
Ressources Informatiques
Détaille le type de ressources informatiques utilisées, qu'il s'agisse de CPU, GPU ou services cloud. Donne des informations sur la puissance de calcul nécessaire pour chaque expérience, ainsi que le total requis pour le projet de recherche. Mentionne si des expériences préliminaires ont nécessité plus de calcul que celles reportées dans l'article.
Considérations Éthiques
Revise le Code de Déontologie lié à ta recherche. Si tu ne te conformes pas au Code, explique les raisons qui l'expliquent. Si la recherche implique des personnes, indique si tu as reçu les approbations nécessaires, comme celle d'un Conseil d'examen institutionnel (IRB).
Ensembles de Données et Actifs
Si ton article utilise des ensembles de données existants, assure-toi de créditer la source originale et de spécifier la version. Indique les conditions de licence pour chaque ensemble de données ou actif utilisé. Pour tous les nouveaux ensembles de données créés, discute de la façon dont le consentement a été obtenu si applicable.
Crowdsourcing et Sujets Humains
Si ta recherche implique du crowdsourcing ou des sujets humains, fournis des informations détaillées à ce sujet dans le corps de l'article. Assure-toi que les travailleurs sont équitablement rémunérés pour leurs contributions.
Dernières Pensées
Être minutieux et honnête en complétant cette liste de contrôle est crucial. Les examinateurs apprécient la transparence et reconnaîtront tes efforts pour garantir des pratiques de recherche responsables. Assure-toi que tes revendications sont bien soutenues et que toutes limitations sont clairement reconnues. Vise la clarté dans tes soumissions et fournis suffisamment de détails pour que d'autres puissent comprendre et reproduire ton travail.
Titre: Policy Prototyping for LLMs: Pluralistic Alignment via Interactive and Collaborative Policymaking
Résumé: Emerging efforts in AI alignment seek to broaden participation in shaping model behavior by eliciting and integrating collective input into a policy for model finetuning. While pluralistic, these processes are often linear and do not allow participating stakeholders to confirm whether potential outcomes of their contributions are indeed consistent with their intentions. Design prototyping has long advocated for rapid iteration using tight feedback loops of ideation, experimentation, and evaluation to mitigate these issues. We thus propose policy prototyping for LLMs, a new process that draws inspiration from prototyping practices to enable stakeholders to collaboratively and interactively draft LLM policies. Through learnings from a real-world LLM policymaking initiative at an industrial AI lab, we motivate our approach and characterize policy prototyping with four guiding principles. Because policy prototyping emphasizes a contrasting set of priorities compared to previous approaches, we envision our approach to be a valuable addition to the methodological repertoire for pluralistic alignment.
Auteurs: K. J. Kevin Feng, Inyoung Cheong, Quan Ze Chen, Amy X. Zhang
Dernière mise à jour: 2024-09-13 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2409.08622
Source PDF: https://arxiv.org/pdf/2409.08622
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.