Zhenmei Shi

Explorer l'importance de softmax dans la performance et les applications des réseaux de neurones.

Une nouvelle méthode améliore les mécanismes d'attention dans les modèles linguistiques pour de meilleures performances.

Explorer les bases et les applications des modèles de diffusion dans différents domaines.

Explorer l'attention tensorielle et son impact sur le traitement des données dans les modèles d'IA.

Examiner pourquoi les modèles plus grands ont du mal avec l'apprentissage en contexte par rapport aux plus petits.

Avancées dans le fine-tuning des modèles de langage avec des techniques innovantes.

Les modèles actuels galèrent avec le raisonnement spatial, s'appuyant plus sur le texte que sur les images.

Examiner la confidentialité différentielle et la régression NTK pour protéger les données des utilisateurs dans l'IA.

Explorer la confidentialité différentielle pour protéger les infos sensibles dans les applis IA.

Explorer comment les LLMs s'en sortent sur des tâches composites qui combinent des tâches plus simples.

Une nouvelle méthode améliore le calcul des ellipsoïdes de John tout en protégeant les données sensibles.

SparseGPT améliore la vitesse et l'efficacité des grands modèles de langage grâce à l'élagage des paramètres.

Une nouvelle méthode améliore les calculs de gradient, rendant les transformeurs plus efficaces en apprentissage automatique.

Une méthode pour améliorer l'efficacité des modèles de langage avec de longs textes.

Explorer les capacités et les défis de la technologie des Transformers pour comprendre le langage.

Un coup d'œil sur comment les MHNs peuvent améliorer l'apprentissage automatique.

Un aperçu de Mamba et des modèles d'état-espace dans les capacités de l'IA.

Découvrez comment l'attention tensorielle transforme le traitement du langage par l'IA.

De nouvelles méthodes améliorent l'attention RoPE, accélérant considérablement les calculs d'IA.