Que signifie "Préremplir"?

Table des matières

Prefill est la première étape pour utiliser des modèles de langage large (LLMs). Pendant cette phase, le modèle se prépare à générer du texte en fonction des entrées qu'il reçoit. En gros, il met en place les données et se prépare à créer des réponses.

Dans beaucoup de systèmes, le préremplissage se fait en même temps que le décodage, qui est quand le modèle produit vraiment le texte. Mais faire les deux en même temps peut créer des délais et affecter la performance globale. C'est parce qu'ils se battent pour les mêmes ressources, ce qui entraîne des temps de réponse plus lents.

En séparant le préremplissage du décodage, les systèmes peuvent fonctionner plus efficacement. Chaque étape peut être optimisée sur différents serveurs, réduisant les temps d'attente et améliorant la vitesse à laquelle le texte est généré. Ça permet de gérer les demandes plus rapidement et mieux, offrant une expérience plus fluide pour les utilisateurs.