Quentin Anthony

Eine Methode zur Steigerung der Effizienz in Mixture of Experts-Modellen.

Lern, wie du die Effizienz von Transformermodellen mit GPU-freundlichem Design verbessern kannst.

BlackMamba kombiniert Zustandsraum-Modelle und Expertenmischungen für effiziente Sprachaufgaben.

Analyse von GPT-NeoX und LLaMA Modellen für Materialienwissenschaft-Anwendungen.

Zamba ist ein hybrides Sprachmodell, das Zustandsraum- und Transformer-Architekturen kombiniert.

Zyda, ein Datensatz mit 1,3 Billionen Tokens, verbessert das Training von Sprachmodellen.

Tree Attention verbessert die Effizienz bei der Verarbeitung von langen Sequenzen für Machine-Learning-Modelle.

Eine Studie zur Verbesserung des Datenaustauschs beim Training von Transformermodellen.

Neue Kompressionstechniken beschleunigen das Training für grosse Sprachmodelle und behalten gleichzeitig die Genauigkeit bei.

Die RedPajama-Datensätze sollen das Training von Sprachmodellen durch Transparenz und hochwertige Daten verbessern.