Li Du

AquilaMoE utiliza EfficientScale para optimizar el entrenamiento de modelos de lenguaje bilingües con menos datos.

Un nuevo método mejora los modelos de lenguaje al diagnosticar deficiencias de conocimiento sin necesidad de datos etiquetados.

Este estudio revela cómo los LLMs adaptan su aprendizaje a través de patrones de atención.