Quentin Anthony

Un método para mejorar la eficiencia en modelos de Mezcla de Expertos.

Aprende cómo mejorar la eficiencia del modelo transformer con un diseño amigable para GPU.

BlackMamba combina modelos de espacio de estado y mezclas de expertos para hacer tareas de lenguaje de manera eficiente.

Analizando los modelos GPT-NeoX y LLaMA para aplicaciones en ciencia de materiales.

Zamba es un modelo de lenguaje híbrido que combina arquitecturas de espacio de estados y transformadores.

Zyda, un conjunto de datos con 1.3 billones de tokens, mejora el entrenamiento de modelos de lenguaje.

Tree Attention mejora la eficiencia en el procesamiento de secuencias largas para modelos de aprendizaje automático.

Un estudio sobre cómo mejorar el intercambio de datos en el entrenamiento de modelos de transformers.

Nuevas técnicas de compresión aceleran el entrenamiento de modelos de lenguaje grandes sin perder precisión.

Los datasets de RedPajama buscan mejorar el entrenamiento de modelos de lenguaje a través de la transparencia y datos de calidad.