Quentin Anthony

Um método pra melhorar a eficiência em modelos de Mistura de Especialistas.

Aprenda como melhorar a eficiência do modelo transformer com um design amigável para GPU.

BlackMamba combina modelos de espaço de estado e mistura de especialistas pra tarefas de linguagem de forma eficiente.

Analisando os modelos GPT-NeoX e LLaMA para aplicações em ciência dos materiais.

Zamba é um modelo de linguagem híbrido que combina arquiteturas de espaço de estados e transformadores.

Zyda, um conjunto de dados com 1,3 trilhão de tokens, melhora o treinamento de modelos de linguagem.

A Atenção em Árvore melhora a eficiência no processamento de sequências longas para modelos de aprendizado de máquina.

Um estudo sobre como melhorar o compartilhamento de dados no treinamento de modelos transformer.

Novas técnicas de compressão aceleram o treinamento de modelos de linguagem grandes sem perder a precisão.

Os conjuntos de dados RedPajama têm como objetivo melhorar o treinamento de modelos de linguagem através de transparência e dados de qualidade.