Zhenmei Shi

Die Bedeutung von Softmax für die Leistung und Anwendungen von neuronalen Netzen erkunden.

Eine neue Methode verbessert die Aufmerksamkeitsmechanismen in Sprachmodellen für eine bessere Leistung.

Die Grundlagen und Anwendungen von Diffusionsmodellen in verschiedenen Bereichen erkunden.

Erforschen von Tensor-Attention und deren Einfluss auf die Datenverarbeitung in KI-Modellen.

Untersuchen, warum grössere Modelle beim In-Context-Lernen im Vergleich zu kleineren Schwierigkeiten haben.

Fortschritte beim Fein-Tuning von Sprachmodellen mit innovativen Techniken.

Aktuelle Modelle haben Schwierigkeiten mit räumlichem Denken und verlassen sich mehr auf Text als auf Bilder.

Untersuchung von differentialer Privatsphäre und NTK-Regressionsanalyse zum Schutz von Benutzerdaten in KI.

Untersuchen von differentieller Privatsphäre, um sensible Informationen in KI-Anwendungen zu schützen.

Untersuchen, wie LLMs bei zusammengesetzten Aufgaben abschneiden, die einfachere Aufgaben kombinieren.

Eine neue Methode verbessert die Berechnung von John-Ellipsoiden und schützt gleichzeitig sensible Daten.

SparseGPT verbessert die Geschwindigkeit und Effizienz grosser Sprachmodelle durch Parameterreduzierung.

Ein neuer Ansatz verbessert die Gradientenkalkulationen und steigert die Effizienz von Transformern im maschinellen Lernen.

Eine Methode, um die Effizienz von Sprachmodellen mit langen Texteingaben zu verbessern.

Die Möglichkeiten und Herausforderungen der Transformer-Technologie beim Verstehen von Sprache erkunden.

Ein genauerer Blick darauf, wie MHNs das maschinelle Lernen verbessern können.

Ein Blick auf Mamba und Zustandsraummodelle in den KI-Fähigkeiten.

Entdecke, wie Tensor-Attention die KI-Sprachverarbeitung verändert.

Neue Methoden verbessern die RoPE-Aufmerksamkeit und beschleunigen die KI-Berechnungen erheblich.