Was bedeutet "Vorausgefüllt"?

Inhaltsverzeichnis

Prefill ist der erste Schritt, um große Sprachmodelle (LLMs) zu nutzen. In dieser Phase bereitet das Modell sich darauf vor, Text basierend auf den Eingaben zu generieren, die es bekommt. Im Grunde richtet es die Daten ein und macht sich bereit, Antworten zu erstellen.

In vielen Systemen passiert Prefill gleichzeitig mit dem Decoding, also wenn das Modell tatsächlich den Text produziert. Aber beides zusammen zu machen, kann zu Verzögerungen führen und die Gesamtleistung beeinträchtigen. Das liegt daran, dass sie um die gleichen Ressourcen konkurrieren, was zu längeren Wartezeiten führt.

Wenn man Prefill und Decoding trennt, können Systeme effizienter arbeiten. Jeder Schritt kann auf verschiedenen Servern optimiert werden, was die Wartezeiten verringert und die Geschwindigkeit erhöht, mit der Text generiert wird. So können Anfragen schneller und besser bearbeitet werden, was zu einem reibungsloseren Erlebnis für die Nutzer führt.