Verbesserung der Autoformalisierung mit Typ-Überprüfungsfilter

Grosse Sprachmodelle (LLMs) haben gezeigt, dass sie das Potenzial haben, natürliche Sprache in formale Sprachen umzuwandeln, ein Prozess, der als Autoformalisation bekannt ist. Trotz dieses Versprechens gibt es bei den aktuellen Methoden Herausforderungen. Zum Beispiel hat die Leistung in der ProofNet-Benchmark für die Lean-Proof-Assistenz gezeigt, dass nur 16,1 % der informellen Aussagen genau umgewandelt werden konnten. In ähnlicher Weise haben unsere Tests mit dem neuesten Modell, GPT-4o, eine Erfolgsquote von nur 34,9 % erreicht.

Ein zentrales Problem dieser Modelle ist ihr häufiges Versagen, formale Aussagen zu erzeugen, die korrekt typisiert werden. Typüberprüfungen stellen sicher, dass Aussagen nicht nur syntaktisch korrekt sind, sondern auch mit definierten Typen übereinstimmen. Erschreckende 86,6 % der Fehler von GPT-4o stammten aus Typüberprüfungsfehlern.

Um dieses Problem anzugehen, schlagen wir eine neue Methode vor, die eine Typüberprüfungsfilterung einbezieht. Unser Prozess beginnt damit, eine vielfältige Reihe von Formalisierungen für eine gegebene informelle Aussage zu generieren. Dann verwenden wir die Lean-Proof-Assistenz, um alle Kandidaten zu eliminieren, die die Typüberprüfung nicht bestehen. Durch die Kombination dieser Methode mit Selbstkonsistenztechniken haben wir die Genauigkeit der Formalisierungen von GPT-4o um 18,3 % erhöht und einen neuen Höchststand von 53,2 % in der ProofNet-Benchmark erreicht.

#Die Bedeutung der Autoformalisation

Die automatische Überprüfung logischer Schlussfolgerungen ist wichtig für verschiedene Bereiche, einschliesslich Mathematik, Software-, Hardware-Verifizierung und künstliche Intelligenz. Proof-Assistenten helfen, mathematische Aussagen klar auszudrücken und deren Beweise mechanisch zu überprüfen. Diese Werkzeuge erfordern jedoch eine Formalisierung, was bedeutet, dass sie informelle mathematische Aussagen in formale Sprache umwandeln müssen.

Autoformalisation ist kein geradliniger Prozess, was zu laufenden Forschungen geführt hat, um die Methoden zur Automatisierung dieser Umwandlung zu verbessern. Die aktuellen hochmodernen Lösungen basieren meist auf den Few-Shot-Lernfähigkeiten von grossen Sprachmodellen oder destillierter Rückübersetzung. Diese Techniken haben jedoch nur begrenzten Erfolg gezeigt. Zum Beispiel wurde das beste Ergebnis mit Lean 3 in der ProofNet-Benchmark mit dem Codex-Modell erzielt, das nur eine Erfolgsquote von 16,1 % hatte.

Neuere Modelle zeigen zwar eine bessere Leistung, haben aber immer noch Probleme, korrekte Formalisierungen zu erzeugen. Unsere Bewertung von GPT-4o hat gezeigt, dass es zwar bei den getesteten Modellen am besten abschnitt, aber dennoch nur 34,9 % der Aussagen genau in Lean 4 umwandeln konnte.

#Herausforderungen bei der Typüberprüfung

Durch unsere Analyse haben wir einen häufigen Grund für das Versagen dieser Modelle identifiziert: Ihre Unfähigkeit, die Typüberprüfung zu bestehen. Die Typüberprüfung ist entscheidend, da sie bewertet, ob eine Formalisierung die Grammatik und Definitionen korrekt verwendet. Obwohl die Typüberprüfung keine korrekte Übersetzung garantiert, ist sie ein notwendiger Schritt und kann leicht automatisiert werden. Wir haben festgestellt, dass die Erfolgsquote bei der Typüberprüfung zwischen 4 % und 45,2 % variierte, je nach Modell und verwendeter formaler Sprache.

Bemerkenswert ist, dass wir festgestellt haben, dass Verbesserungen der Typüberprüfungsraten mit einer besseren Genauigkeit bei der Übersetzung informeller Aussagen korrelieren. Daher haben wir uns zum Ziel gesetzt, das Typüberprüfungssignal von automatisierten Theorembeweiser zu nutzen, um bestehende Methoden der Autoformalisation zu verbessern.

#Vorgeschlagene Methodik

Unser Ansatz umfasst drei Hauptschritte: Sampling, Filtering und Selection. Für jede informelle Aussage und die entsprechende Zielsprache erstellen wir zunächst mehrere potenzielle Formalisierungen. Der Lean-Proof-Assistent überprüft dann diese Aussagen auf Typ, wobei alle herausgefiltert werden, die nicht bestehen. Von den verbleibenden Kandidaten wenden wir Auswahlheuristiken an, um eine endgültige Übersetzung auszuwählen.

Diese Methode wurde über vier verschiedene Modelle hinweg unter Verwendung der ProofNet-Benchmark mit Lean 4 implementiert. Unsere manuelle Bewertung hat gezeigt, dass dieser Ansatz die Genauigkeit der Autoformalisation erheblich erhöht hat, insbesondere beim leistungsstärksten Modell, GPT-4o, dessen Genauigkeit von 34,9 % auf 53,2 % verbessert wurde.

#Bewertung von Formalisierungstechniken

Autoformalisationstechniken müssen ihre Leistung rigoros bewerten. In unseren Experimenten verwendeten wir die ProofNet-Benchmark, die aus verschiedenen mathematischen Aufgaben für Studierende besteht, die informelle Aussagen mit ihren entsprechenden Formalisierungen in Lean 3 kombiniert. Wir haben dann auf eine Lean 4-Version der Benchmark umgestellt, die von einem unabhängigen Forschungsteam erstellt wurde.

Wir haben verschiedene Modelle getestet, darunter Llemma-7B, Llemma-34B, Llama3-8B-Instruct, GPT-4-turbo und GPT-4o. Jedes Modell durchlief zwei Anpassungsstrategien: Feinabstimmung durch destillierte Rückübersetzung und Few-Shot-Lernen.

Obwohl die manuelle Bewertung der genaueste Weg ist, um den Erfolg zu messen, bringt sie Herausforderungen in der Skalierbarkeit mit sich. Daher wird auch die Korrelation zwischen Typüberprüfungsraten und Richtigkeit untersucht, obwohl sie nicht allein die Gültigkeit formaler Aussagen bestimmen kann.

#Wichtige Erkenntnisse aus Experimenten

Unsere Bewertungsergebnisse haben bedeutende Einblicke in die Effektivität unserer vorgeschlagenen Methode geliefert. Wir haben festgestellt, dass Modelle, die Typüberprüfungsfilterung verwenden, kombiniert mit Selbstkonsistenztechniken, durchweg besser abschnitten als Basismethoden.

Wenn wir beispielsweise die Leistungen verschiedener Modelle unter identischen Bedingungen verglichen, haben wir festgestellt, dass Typüberprüfungsfilterung nicht nur die Leistung verbessert, sondern auch entscheidend für den Erfolg ist.

#Die Rolle der Länge der Aussagen

Eine bemerkenswerte Beobachtung war, wie die Länge der formalen Aussagen die Genauigkeit beeinflusst. Unsere Analyse hat gezeigt, dass Modelle tendenziell Schwierigkeiten mit längeren Formalisierungen haben, wenn sie informelle Eingaben übersetzen. Die Ergebnisse haben bestätigt, dass, obwohl unsere Methode die Leistung über alle Längen hinweg verbessert hat, die Verbesserungen besonders bei längeren Aussagen auffällig waren.

#Fazit

Zusammenfassend haben wir eine neue Autoformalisationstechnik entwickelt, die sich in bestehende Ansätze integriert und die Ergebnisse erheblich verbessert. Indem wir uns auf Typüberprüfung und Kandidatenauswahl konzentrieren, hat sich unsere Technik als effektiv erwiesen, um die Genauigkeit der aus LLMs abgeleiteten Formalisierungen zu erhöhen.

Zukünftige Arbeiten könnten diese Modelle weiter verfeinern, indem die Stichprobengrössen erhöht, der Auswahlprozess optimiert und das gesamte Framework zur besseren Formalisierung verbessert wird. Während diese Studie das Potenzial für effektive Autoformalisation demonstriert, bleibt es ein wichtiger nächster Schritt, diese Methoden in realen Szenarien anzuwenden.

Indem wir die Art und Weise verbessern, wie Mathematiker ihre Forschung formalisiert, hoffen wir, positiv zu den Bereichen Verifizierung und formale Argumentation beizutragen und Werkzeuge bereitzustellen, die die Produktivität erhöhen, ohne die Genauigkeit zu opfern.