Li Du

AquilaMoE usa o EfficientScale pra otimizar o treinamento de modelos de linguagem bilíngues com menos dados.

Um novo método melhora os modelos de linguagem ao diagnosticar deficiências de conhecimento sem precisar de dados rotulados.

Esse estudo revela como os LLMs ajustam seu aprendizado através de padrões de atenção.