Li Du

AquilaMoE utilise EfficientScale pour optimiser l'entraînement de modèles linguistiques bilingues avec moins de données.

Une nouvelle méthode améliore les modèles de langue en diagnostiquant les lacunes de connaissances sans données étiquetées.

Cette étude révèle comment les LLMs adaptent leur apprentissage grâce à des schémas d'attention.