Zhenpeng Su

MaskMoE améliore l'apprentissage des tokens dans les modèles MoE en renforçant la performance des tokens peu fréquents.

Une nouvelle méthode améliore l'adaptabilité et la performance des systèmes de recherche dense.