Tri Dao

Caduceus melhora a modelagem genômica tocando nas complexidades do DNA.

Mamba-2 combina SSMs e Transformers pra melhorar a eficiência nas tarefas de linguagem.

Novos métodos melhoram a velocidade e a eficiência nos mecanismos de atenção para modelos de linguagem.

Explore como a Hydra e matrizes estruturadas melhoram a eficiência e precisão do modelagem de sequências.

Um novo método pra otimizar modelos de linguagem sem perder a performance.

Os conjuntos de dados RedPajama têm como objetivo melhorar o treinamento de modelos de linguagem através de transparência e dados de qualidade.

Explorando os benefícios e desafios dos modelos híbridos em processamento de linguagem.