Quentin Anthony

Impara come migliorare l'efficienza del modello transformer con un design adatto alle GPU.

BlackMamba combina modelli di stato-spazio e miscele di esperti per compiti linguistici efficienti.

Analizzando i modelli GPT-NeoX e LLaMA per applicazioni nella scienza dei materiali.

Zamba è un modello di linguaggio ibrido che combina architetture a stato spaziale e transformer.

Zyda, un dataset con 1,3 trilioni di token, migliora l'addestramento dei modelli di linguaggio.

L'attenzione ad albero migliora l'efficienza nel processamento di lunghe sequenze per i modelli di machine learning.

Uno studio su come migliorare la condivisione dei dati nell'addestramento dei modelli transformer.

Nuove tecniche di compressione accelerano l'addestramento per grandi modelli di linguaggio mantenendo la precisione.

I dataset RedPajama puntano a migliorare l'addestramento dei modelli linguistici attraverso trasparenza e dati di qualità.