Suivi de la transparence dans les modèles de fondation

Les modèles fondamentaux jouent un rôle important dans l'intelligence artificielle (IA) et touchent plein d'aspects de nos vies. Pourtant, y'a peu d'infos sur leur fonctionnement et leur construction. Pour mieux comprendre, l'Index de Transparence des Modèles Fondamentaux a été créé en octobre 2023 pour suivre la clarté des Développeurs sur leurs pratiques.

La première version de l'index a scruté 10 grosses boîtes, comme OpenAI et Google, avec 100 critères différents pour déterminer ce qu'ils divulguent sur leur taf. À cette époque, le score moyen pour ces entreprises était de 37 sur 100, montrant qu'il y avait pas mal de manque de transparence.

Pour voir si ça a changé, une étude de suivi (version 1.1) a été faite 6 mois après, impliquant 14 développeurs qui balançaient leurs propres comptes rendus. Cette méthode a permis de révéler plus de détails qu'avant. Dans cette version, le score moyen est monté à 58 sur 100, un bon coup de pouce de 21 points.

Cette amélioration est surtout venue des développeurs qui ont partagé de nouvelles infos pendant le processus de rapport. En moyenne, les boîtes ont dévoilé des détails sur 16,6 critères qui n'avaient pas été mentionnés avant. Cela dit, certains domaines restent flous, surtout en ce qui concerne les droits d'auteur, l'Accès aux données et l'impact de ces modèles sur la société.

La transparence est super importante dans ce domaine. Alors que l'IA continue de façonner notre économie et notre société, comprendre comment ces modèles sont créés et utilisés est essentiel pour tenir les développeurs responsables, booster la concurrence et faire en sorte que tout le monde pige les implications de ces technologies.

Différents gouvernements interviennent pour booster la transparence, avec des initiatives comme la loi sur l'IA de l'UE et la proposition de loi sur la transparence des modèles fondamentaux d'IA aux États-Unis, qui poussent les entreprises à être plus claires.

#Importance de la Transparence des Modèles Fondamentaux

Les modèles fondamentaux sont au cœur du développement de l'IA. Alors que ces technologies évoluent, elles commencent à influencer plusieurs aspects de nos vies, rendant crucial pour les gens de comprendre comment ça fonctionne. Sans transparence, c'est chaud d'évaluer les données sur lesquelles ces modèles sont entraînés, qui peuvent inclure des infos protégées ou sensibles.

Pour mieux saisir le paysage actuel des modèles fondamentaux, l'Index de Transparence des Modèles Fondamentaux a été créé. L'index a commencé avec la version 1.0 en octobre 2023, évaluant 10 développeurs majeurs sur 100 critères relatifs à leur transparence.

Ces critères couvrent divers aspects comme l'utilisation des données, le travail impliqué dans la création des modèles, et les risques liés à leur utilisation. Cette première version a mis en lumière un énorme manque de transparence, avec un score moyen de 37 sur 100. Cela dit, elle a aussi révélé que certains développeurs étaient plus ouverts que d'autres.

#Étude de Suivi (Version 1.1)

Pour voir les changements, une étude de suivi (version 1.1) a été menée 6 mois plus tard. Cette étude a de nouveau utilisé les mêmes 100 critères mais les développeurs ont rapporté les infos eux-mêmes au lieu de se fier uniquement aux données publiques.

Le choix de faire soumettre les rapports par les développeurs avait trois objectifs principaux :

1. Complétude : Cette méthode assure qu'aucune info cruciale n'est oubliée.
2. Clarté : Les développeurs qui confirment leurs infos réduisent la confusion et l'incertitude.
3. Scalabilité : Faire en sorte que les développeurs rassemblent ces infos diminue la charge de travail des chercheurs.

En tout, 19 développeurs ont été contactés, dont 14 ont soumis leurs rapports. Les résultats ont montré que les développeurs sont maintenant plus disposés à partager des infos, menant à un score global de 58. Bien que beaucoup de cette augmentation de transparence soit positive, plusieurs domaines montrent toujours une opacité significative.

#Processus de Rapport des Développeurs

Le processus de cette étude a impliqué plusieurs étapes :

1. Sollicitation des Développeurs : Entre décembre 2023 et janvier 2024, des communications ont été lancées avec 19 entreprises pour demander des rapports de transparence.

2. Rapports des Développeurs : En février 2024, 14 développeurs ont soumis des rapports sur leurs modèles phares, basés sur les 100 critères.

3. Scoring Initial : Après avoir examiné les rapports, le scoring a été fait sur la base des infos fournies.

4. Réponse des Développeurs : En avril 2024, les développeurs ont eu l'occasion de contester leurs scores et de fournir des infos supplémentaires pour clarification.

À travers plusieurs échanges, des rapports de transparence finaux ont été préparés pour chaque développeur, consolidant leurs divulgations.

#Résultats Globaux

Les résultats de la version 1.1 ont montré des améliorations notables en matière de transparence parmi les développeurs évalués.

• Le score moyen est passé de 37 en version 1.0 à 58 en version 1.1.
• Les scores ont augmenté dans tous les domaines, avec des améliorations notables dans les indicateurs en amont, les indicateurs de modèle, et les indicateurs en aval.

Malgré ces améliorations, la transparence reste un sujet important, avec de nombreux développeurs qui manquent encore dans des domaines clés comme l'accès aux données et l'évaluation des impacts.

#Domaines d'Amélioration

L'analyse a révélé où les développeurs se débrouillent bien et où ils sont à la traîne :

1. Indicateurs en Amont : Les développeurs ont eu les scores les plus bas dans cette catégorie, avec un score moyen de 46%. Cela reflète un manque de divulgation sur les ressources utilisées pour construire les modèles, y compris le travail sur les données et l'accès aux données.

2. Indicateurs de Modèle : Le score moyen pour les indicateurs liés aux modèles était meilleur, autour de 61%. Cela suggère que les développeurs sont un peu plus ouverts sur le fonctionnement de leurs modèles et les risques qu'ils comportent.

3. Indicateurs en Aval : Les développeurs ont obtenu les meilleurs scores dans cette section, avec une moyenne de 65%. Cette zone se concentre sur l'utilisation des modèles et les politiques qui régissent leur distribution.

#Défis en Matière de Transparence

Bien qu'il y ait eu des progrès, de nombreux défis persistent. Certains domaines, comme l'accès aux données et l'impact, montrent encore des niveaux élevés d'opacité. Les développeurs ne fournissent généralement pas de détails sur les sources de leurs données ou les effets de leurs modèles sur les utilisateurs et la société.

En particulier, seuls quelques développeurs ont partagé des infos sur la manière dont les données sont collectées et utilisées, laissant les clients et le public avec peu de compréhension des fondations de ces modèles. Cela soulève toujours des questions sur la responsabilité et l'utilisation responsable.

#Influence des Modèles Ouverts vs. Fermés

L'étude a également examiné la différence entre les modèles ouverts et fermés. Les modèles ouverts, où le code et les données sous-jacents sont partagés, ont généralement performé mieux en matière de transparence. Les développeurs qui faisaient partie d'initiatives promouvant l'accès ouvert ont obtenu de meilleurs scores en moyenne que ceux qui gardaient leurs modèles propriétaires.

Cependant, les développeurs fermés avaient tendance à donner plus d'infos sur leurs politiques internes et la manière dont ils géraient le comportement des utilisateurs. Cela met en évidence un paysage complexe où l'ouverture ne signifie pas toujours une meilleure transparence sur tous les fronts.

#Participation des Développeurs

Au total, 14 développeurs ont participé à ce tour d'évaluations, beaucoup apportant de nouvelles infos qui n'avaient pas été rendues publiques auparavant. Le mélange de développeurs incluait à la fois ceux évalués dans la première version et des nouveaux venus, élargissant la diversité globale du rapport.

Le rapport a indiqué que les développeurs deviennent plus disposés à s'engager dans des pratiques de transparence, menant à une meilleure compréhension de leurs modèles.

#Nouvelles Informations et Scoring

Une caractéristique clé de la version 1.1 était la possibilité pour les développeurs de partager de nouvelles informations, ce qui a contribué de manière significative à leurs scores. Pour de nombreux développeurs, ces nouvelles données étaient cruciales pour refléter leurs véritables niveaux de transparence.

Les nouvelles divulgations concernaient souvent des domaines comme les pratiques de travail, l'impact environnemental, et des détails opérationnels, qui avaient été précédemment sous-déclarés.

Par exemple, certains développeurs ont clarifié leurs processus de calcul et les émissions de carbone associées. Ce reporting direct a non seulement amélioré leurs scores mais a aussi aidé à donner une image plus claire de leurs pratiques.

#Recommandations Pour l'Avenir

Sur la base des insights obtenus de l'étude, plusieurs recommandations ont été faites pour les différents acteurs impliqués dans l'écosystème des modèles fondamentaux.

#Pour les Développeurs

1. Investir dans la Transparence : Les développeurs devraient se concentrer sur l'amélioration de la clarté et de l'ouverture de leurs rapports. Cela pourrait inclure une documentation détaillée et des mises à jour régulières sur leurs pratiques.

2. Engager avec les Parties Prenantes : Établir de meilleures lignes de communication avec les clients et le public peut renforcer la confiance et la responsabilité.

#Pour les Clients

1. Exiger la Transparence : Ceux qui achètent des services de modèle devraient soutenir des divulgations plus claires et favoriser les développeurs qui privilégient la transparence.

2. Établir des Normes : Les gouvernements, en tant qu'acheteurs importants de technologie, peuvent influencer les pratiques en définissant des attentes de transparence dans les contrats.

#Pour les Décideurs

1. Encourager la Divulgation : Les décideurs devraient pousser pour des réglementations qui obligent à la transparence dans l'IA, notamment en ce qui concerne l'utilisation des données et l'évaluation des impacts.

2. Établir des Bonnes Pratiques : Créer des lignes directrices pour les développeurs à suivre peut aider à façonner un écosystème plus ouvert.

#Pour les Défenseurs de la Transparence

1. Enquêter et Surveiller : Les chercheurs et journalistes peuvent utiliser les nouveaux rapports de transparence pour mener des enquêtes plus approfondies sur les pratiques des développeurs.

2. Promouvoir la Sensibilisation : Les défenseurs devraient sensibiliser le public à l'importance de la transparence dans le développement et le déploiement de l'IA.

#Conclusion

L'Index de Transparence des Modèles Fondamentaux a fait des avancées significatives en soulignant le besoin de transparence dans les modèles d'IA. Bien qu'il y ait eu des améliorations durant les six derniers mois, il reste encore un long chemin à parcourir. Alors que les modèles fondamentaux continuent de façonner notre monde, atteindre une plus grande transparence sera crucial pour s'assurer que ces technologies sont développées et utilisées de manière responsable.

Le dialogue continu entre les développeurs et les parties prenantes sera essentiel pour encourager un environnement où la transparence n'est pas seulement attendue mais adoptée. En renforçant la transparence, les développeurs peuvent bâtir la confiance, favoriser l'innovation, et garantir que leurs modèles contribuent positivement à la société.