Quentin Anthony

Zamba é um modelo de linguagem híbrido que combina arquiteturas de espaço de estados e transformadores.

Zyda, um conjunto de dados com 1,3 trilhão de tokens, melhora o treinamento de modelos de linguagem.

A Atenção em Árvore melhora a eficiência no processamento de sequências longas para modelos de aprendizado de máquina.

Um estudo sobre como melhorar o compartilhamento de dados no treinamento de modelos transformer.

Novas técnicas de compressão aceleram o treinamento de modelos de linguagem grandes sem perder a precisão.

Os conjuntos de dados RedPajama têm como objetivo melhorar o treinamento de modelos de linguagem através de transparência e dados de qualidade.