O que significa "Descobertas de Experimentos"?
Índice
Estudos recentes mostraram que em modelos usando o design Transformer, a atenção muitas vezes foca demais no primeiro item de uma sequência. Essa ênfase forte pode trazer desafios, especialmente quando se tenta melhorar como a atenção é compartilhada entre todos os itens. Os pesquisadores descobriram que, ao reduzir a importância de alguns elementos, mas ainda permitindo que eles chamem atenção, conseguem equilibrar melhor o foco. Eles descobriram duas maneiras de fazer isso: uma baseada em como a posição é codificada e outra baseada nas características dos elementos em si.
Modelos de Difusão Discreta
Na área de geração de dados, modelos que usam técnicas de difusão se saíram bem com imagens e sons. Porém, quando aplicados a texto, não tiveram um desempenho tão eficaz quanto outros modelos que geram dados peça por peça. Novos métodos foram introduzidos para melhorar esses modelos de difusão orientando como eles geram dados. Focando em gerar categorias específicas primeiro, a qualidade geral da saída melhorou bastante. Essa abordagem parece promissora para um desempenho melhor na criação de dados discretos como texto.