LeanQuant: Ein neuer Ansatz zur Modellquantisierung

Grosse Sprachmodelle (LLMs) sind mächtige Werkzeuge, die in vielen Bereichen wie Recht, Bildung und mehr eingesetzt werden können. Allerdings brauchen diese Modelle viel Rechenleistung und Speicher, um richtig zu funktionieren, was es für viele Leute schwierig macht, sie zu nutzen. Um sie einfacher einsetzbar zu machen, gibt es eine Methode, die dabei helfen kann, und zwar die Gewicht-Quantisierung. Diese Methode hilft, sowohl die Zeit, die benötigt wird, um die Modelle auszuführen, als auch den Speicherplatz, den sie benötigen, zu reduzieren.

Trotz ihrer Vorteile verlieren die aktuellen Methoden zur Quantisierung von LLMs bei niedrigeren Bitbreiten oft an Qualität. Das bedeutet, dass die Modelle möglicherweise nicht so gut funktionieren, wenn sie zu stark komprimiert werden. Bestehende Techniken konzentrieren sich meist darauf, die wichtigen Teile der Modelle intakt zu halten, aber oft wird die Qualität in kleineren Grössen nicht gut genug bewahrt.

#Was ist Gewicht-Quantisierung?

Gewicht-Quantisierung ist ein Prozess, der die Art und Weise ändert, wie die Modellparameter gespeichert werden. Normalerweise werden diese Parameter in einem hochpräzisen Format gespeichert, aber die Quantisierung reduziert diese Präzision. Anstatt vollständige Fliesskommazahlen zu verwenden, können die Parameter als kleinere Ganzzahlen gespeichert werden. Zum Beispiel kann ein Modell, das normalerweise etwa 140 GB Speicher benötigt, auf nur etwa 18 GB schrumpfen, wenn es auf 2 Bit pro Parameter quantisiert wird. So kann man riesige Modelle wie LLaMA-2-70b auf gängigeren Geräten wie einer einzelnen RTX 4090 GPU betreiben.

Wenn wir Gewichte quantisieren, repräsentieren wir die ursprünglichen Parameter mit dem Index der nächstgelegenen Linie in einem Quantisierungsraster. Während das Speicher spart, kann es zu einem Qualitätsverlust führen, wenn es nicht sorgfältig gemacht wird. Einige Ansätze konzentrieren sich darauf, die entscheidenden Gewichte, die die Ausreisser in den Daten sind, zu behalten, tun sich aber trotzdem schwer bei niedrigeren Bitbreiten.

#Optimale Gehirn-Quantisierung (OBQ)

Eine beliebte Methode zur Quantisierung von Modellen heisst Optimale Gehirn-Quantisierung (OBQ). Diese Methode versucht, die Fehler, die während der Quantisierung auftreten, durch iterative Anpassung der Gewichte zu minimieren. OBQ quantisiert Gewichte einzeln und aktualisiert die anderen Gewichte, um den eingeführten Fehler auszugleichen. Allerdings hat es eine Einschränkung: Es verwendet ein einheitliches Quantisierungsraster, das die Modellqualität nicht effektiv aufrechterhält, was zu grösseren Fehlern führt.

Unsere neue Methode, LeanQuant, verbessert OBQ. Sie lernt ein Quantisierungsraster, das sich der Fehler und Verluste bewusst ist, die auftreten können, wenn Gewichte quantisiert werden. Indem LeanQuant sich auf die kritischsten Gewichte konzentriert und sicherstellt, dass sie nicht beeinträchtigt werden, kann es die Leistungsfähigkeit des Modells auch bei niedrigeren Bitbreiten aufrechterhalten.

#Das Verlust-Fehler-bewusste Netzwerk-Quantisierung (LeanQuant)

LeanQuant ist darauf ausgelegt, ein nicht-uniformes Quantisierungsraster zu erstellen, das besser mit den entscheidenden Gewichten ausgerichtet ist, die grosse Fehler verursachen könnten, wenn sie nicht richtig behandelt werden. Dazu lernt LeanQuant eine Reihe von Rasterlinien, die helfen, die Qualität des Modells zu erhalten. Mit einer Methode namens k-means++ erstellt LeanQuant ein Quantisierungsraster, das die spezifischen Bedürfnisse jedes Gewichts anspricht, insbesondere die, die mit höheren Verlustfehlern verbunden sind.

Der Lernprozess in LeanQuant ist effizient und benötigt viel weniger zusätzliche Hardware als andere Methoden. Zum Beispiel dauerte es nur 6 Stunden, das LLaMA-2-70b Modell mit einer einzelnen GPU zu quantisieren.

#Leistung von LeanQuant

LeanQuant wurde mit anderen Methoden getestet, um zu sehen, wie gut es abschneidet. In Experimenten, die die Qualität der Modelle betrachteten, zeigte LeanQuant bessere Ergebnisse als seine Konkurrenten, gemessen an verschiedenen Scores. Zum Beispiel erzielte LeanQuant in Bewertungen der Perplexität - einem Mass dafür, wie gut das Modell Text vorhersagt - in der 2-Bit-Quantisierung bessere Leistungen als andere Methoden.

Ausserdem schnitt LeanQuant auch in Tests zur Genauigkeit bei verschiedenen Aufgaben deutlich besser ab, was seine Effektivität bei der Beibehaltung der Qualität bei gleichzeitiger Reduzierung der Modellgrösse zeigt.

#Effizienz der Inferenz

Neben der hohen Modellqualität bietet LeanQuant auch Verbesserungen in der Inferenz-Effizienz. Mit einem fokussierten Ansatz, wie es das Quantisierungsraster behandelt, sorgt LeanQuant für schnellere Berechnungen während der Nutzung des Modells. Die Kombination aus Quantisierung und effizienter Kernelfusion bei der Matrixmultiplikation ermöglicht es LeanQuant-quantisierten Modellen, deutlich schneller als ihre unquantisierten Pendants zu laufen.

Zum Beispiel erreichte die LeanQuant-Version von LLaMA-2-7b beeindruckende Geschwindigkeitsverbesserungen im Vergleich zu unquantisierten Modellen und zeigt, dass es nicht nur effektiv bei der Erhaltung der Qualität ist, sondern auch den Inferenzprozess beschleunigt.

#Durchgeführte Experimente

Verschiedene Experimente wurden durchgeführt, um die Effektivität von LeanQuant weiter zu validieren. Dazu gehörten Tests sowohl an milliardenschweren Sprachmodellen als auch an kleineren Modellen wie BERT. Im Vergleich der Qualität quantisierter Modelle zeigte LeanQuant konsistent bessere Ergebnisse über verschiedene Datensätze hinweg.

In Tests mit dem WikiText-2-Datensatz und anderen hielt LeanQuant einen niedrigeren Perplexitätswert, was bedeutet, dass es besser darin war, Text zu generieren. Ausserdem führte LeanQuant in Bewertungen der Zero-Shot-Genauigkeit - die die Fähigkeit des Modells misst, Aufgaben ohne spezifisches Training im Voraus zu erfüllen - die Konkurrenz an und zeigte oft einen signifikanten Vorteil gegenüber anderen Methoden.

#Fazit

Zusammenfassend ist LeanQuant ein vielversprechender Ansatz zur Quantisierung grosser Sprachmodelle. Durch den Wechsel von traditionellen, einheitlichen Quantisierungsrastern zu einer massgeschneiderten Methode zur Behandlung von Gewicht- und Verlustfehlern erhält LeanQuant die Qualität der Modelle, während es sie kleiner und schneller macht. Die Ergebnisse aus verschiedenen Tests zeigen seine Effektivität im Vergleich zu konkurrierenden Methoden und machen es zu einem bemerkenswerten Fortschritt auf diesem Gebiet. Angesichts der wachsenden Nachfrage nach effizienter KI werden Ansätze wie LeanQuant, die erfolgreich Qualität und Leistung in Einklang bringen, entscheidend sein.