Présentation de MAP-Neo : Un nouveau modèle bilingue open-source

Les grands modèles de langage (LLMs) se sont beaucoup améliorés ces dernières années. Cependant, beaucoup de modèles top comme GPT, Gemini et Claude restent privés, ce qui rend difficile pour les chercheurs de comprendre comment ils ont été construits. Il y a des modèles publics, comme LLaMA-3, mais de nombreux détails, comme les données d'Entraînement ou le code, ne sont souvent pas partagés.

Pour aider avec ça, certains groupes de recherche ont mis à disposition des modèles vraiment open-source, qui partagent plus d'infos sur leurs processus de formation et de collecte de données. Des modèles comme Pythia, Amber et OLMo ont contribué à la communauté de recherche ouverte en fournissant des aperçus sur les forces et faiblesses des LLMs.

Malgré ces efforts, les modèles open-source actuels sont toujours à la traîne par rapport aux meilleurs modèles privés dans des domaines comme le raisonnement, les tâches de connaissance et la génération de code. Pour combler ce fossé, on vous présente MAP-Neo, un modèle de langage bilingue avec 7 milliards de paramètres, entraîné sur 4,5 trillions de tokens de données de haute qualité. Notre modèle est le premier LLM bilingue complètement open-source qui montre des Performances concurrentielles par rapport aux meilleurs modèles existants.

#Caractéristiques de MAP-Neo

#Ouverture et Transparence

MAP-Neo est conçu pour être transparent. On partage tous les détails nécessaires pour reproduire notre modèle. Ça inclut nos données pré-entraînées nettoyées, les méthodes utilisées pour nettoyer les données, des checkpoints intermédiaires du modèle, et le cadre d'entraînement et d'évaluation. En fournissant ces ressources, on vise à soutenir la communauté académique et encourager d'autres recherches dans ce domaine.

#Comparaison de Performance

MAP-Neo performe bien sur divers benchmarks, tant en configuration de modèle de base qu'en configuration de modèle de chat. On compare ses performances à celles de modèles open-source populaires et à d'autres modèles transparents récents de taille similaire. Les résultats montrent que MAP-Neo excelle dans des domaines comme le raisonnement, le codage et les tâches de connaissance.

#Le Besoin de Modèles Open Source

La montée récente des capacités de l'IA est portée par des LLMs comme GPT-4 et Claude, qui ont amélioré le traitement du langage naturel. Ces modèles sont capables de raisonnement complexe, d'écriture créative, d'éducation scientifique, et bien plus. Cependant, les meilleurs modèles ne sont souvent pas accessibles au public, ce qui limite la recherche académique et la démocratisation de la technologie IA.

Les tentatives précédentes de créer des modèles open-source, comme LLaMA et BLOOM, ont aidé mais n'ont pas réussi à divulguer tous les détails sur leurs données d'entraînement. OLMo a amélioré la situation en fournissant plus de détails, mais il reste un fossé de performance comparé aux modèles privés.

#Introduction de MAP-Neo

Pour combler ce fossé, MAP-Neo est un modèle bilingue entièrement open-source qui vise à égaler les meilleurs modèles fermés tout en offrant transparence. L'ensemble du processus de construction de MAP-Neo inclut un pipeline de curation des données détaillé, une architecture de modèle complète et des méthodes d'évaluation.

#Pipeline de Curation des Données

On a développé un processus de curation et de nettoyage des données complet pour les données d'entraînement en anglais et en chinois. Ce processus inclut des systèmes OCR stables, un mécanisme de rappel des données, l'intégration de pipelines de traitement des données existants, et un support pour le traitement distribué.

#Sources de Données

Le corpus de pré-entraînement de MAP-Neo, appelé Matrix Data Pile, se compose d'une variété de sources, y compris Common Crawl, du code de programmation, des articles académiques, des livres, et plus. La composition met l'accent sur le contenu en anglais et en chinois.

#Architecture du modèle

MAP-Neo est construit sur une architecture de décodeur transformer. On applique plusieurs améliorations aux modèles transformeurs standards, telles que :

• Attention Multi-Requêtes
• Embeddings Positifs Rotatifs (RoPE)
• RMSNorm pour la stabilité

Ces modifications aident à optimiser les performances, permettant à MAP-Neo de comprendre et générer du texte plus efficacement.

#Entraînement et Affinage de MAP-Neo

MAP-Neo suit une stratégie d'entraînement en deux étapes.

#Phase de Pré-entraînement

La phase initiale se concentre sur des capacités générales en utilisant une large gamme de textes. Plus de 100 milliards de tokens sont traités durant la phase de pré-entraînement, assurant un entraînement robuste sur des entrées diverses.

#Phase d'Affinage

Dans la deuxième phase, on affine les capacités du modèle avec des données d'instruction spécifiques pour améliorer ses performances sur des tâches comme le codage, le raisonnement et la compréhension de langages complexes.

On applique un affinage supervisé pour aligner le modèle plus étroitement avec le comportement humain dans diverses applications.

#Évaluation des Performances

MAP-Neo a été évalué sur de nombreux benchmarks, montrant des améliorations significatives. On évalue la performance en fonction de métriques pour le raisonnement, le codage, les connaissances du monde, et la compréhension de la lecture, assurant cohérence et fiabilité des résultats.

#Résultats

Nos évaluations montrent que MAP-Neo obtient de bons scores par rapport à d'autres modèles, particulièrement dans des tâches de codage et mathématiques. MAP-Neo surpasse d'autres modèles open-source qui avaient déjà du mal avec des benchmarks similaires.

#Le Rôle de la Qualité des Données

La qualité des données d'entraînement impacte directement la performance du modèle. En carrant soigneusement des ensembles de données de haute qualité, MAP-Neo peut surpasser efficacement des modèles antérieurs qui dépendent de données moins fiables.

#L'Importance de l'Ouverture

Le passage aux modèles open-source est crucial pour plusieurs raisons :

1. Démocratisation de l'IA : Les modèles open-source aident à s'assurer que les avancées en IA sont accessibles à un plus large public, y compris les petites entreprises et les chercheurs.

2. Transparence : En partageant des processus détaillés, les chercheurs peuvent comprendre comment les modèles fonctionnent, facilitant ainsi leur amélioration et leur confiance.

3. Collaboration et Innovation : L'open-source encourage le partage d'idées et d'améliorations parmi les chercheurs, menant à des innovations plus rapides.

#Conclusion

Dans ce rapport, on a présenté MAP-Neo comme une avancée significative vers la transparence dans les LLMs. En partageant nos méthodes, nos données et les détails de notre modèle, on espère inspirer davantage de recherches et de développements dans la communauté IA. Notre travail démontre qu'il est possible de créer des modèles performants tout en étant ouvert et transparent, ouvrant la voie à des développements plus inclusifs des technologies IA dans le monde entier.

#Directions Futures

Le projet MAP-Neo représente une étape critique dans la promotion de la transparence et de l'accessibilité pour les LLMs. Les efforts futurs se concentreront sur l'amélioration de la collaboration avec d'autres chercheurs et institutions, l'élargissement de notre ensemble de données, et le raffinement de notre modèle pour assurer des améliorations continues en performance.

En engageant la communauté IA au sens large, on vise à combler les restes du fossé en performance et continuer à faire des avancées qui bénéficient à la société dans son ensemble.