Die Effektivität von automatisierten vs. manuellen Aufforderungen in LLMs

Grosse Sprachmodelle (LLMs) sind Werkzeuge, die aus kleinen Beispielen lernen können. Sie funktionieren besser, wenn man ihnen hilfreiche Eingaben gibt. Die Forscher haben versucht, diese Eingaben automatisch zu gestalten, mit einigem Erfolg. Einige Studien zeigen, dass Automatisierung in bestimmten Fällen besser als Feintuning sein kann. Dieser Artikel betrachtet automatisierte Eingaben in verschiedenen Aufgaben und analysiert ihre Effektivität im Vergleich zu einfachen manuellen Eingaben.

#Das Problem mit Daten

LLMs, die eine Trainingsmethode namens "Vortrainieren und dann Feintuning" verwenden, benötigen eine Menge guter Daten, um gut zu funktionieren. In vielen Fällen gibt es jedoch einfach nicht genug hochwertige, beschriftete Daten zum Trainieren. Diese Einschränkung macht es schwer, mit traditionellen Methoden starke Ergebnisse zu erzielen. Um dieses Problem anzugehen, wurde das Prompt-basiertes Lernen eingeführt. Bei diesem Ansatz braucht man nur ein paar Beispiele, um dem Modell zu helfen, die Besonderheiten einer Aufgabe zu lernen.

#Wie Prompt-basiertes Lernen funktioniert

Beim prompt-basierten Lernen änderst du die Eingabe mit einem speziellen Format, das Platzhalter enthält. Diese Platzhalter helfen dem Modell zu verstehen, worauf es sich konzentrieren soll. Wenn du zum Beispiel möchtest, dass das Modell bestimmt, ob ein Satz einen positiven oder negativen Sentiment hat, würdest du die Eingabe entsprechend anpassen. Ausserdem hilft ein Verbalizer, die Antworten den richtigen Kategorien zuzuordnen. So kannst du, selbst mit begrenzten Daten, das Modell dazu trainieren, nützliche Ausgaben zu geben.

#Automatisierung des Prompt-Designs

Eingaben zu erstellen ist nicht einfach und kann viel Zeit kosten. Viele Forscher haben versucht, diesen Prozess zu automatisieren, in der Überzeugung, dass automatisierte Eingaben besser funktionieren könnten als manuell gestaltete. In diesem Artikel stellen wir diese Idee in Frage. Wir liefern Beweise dafür, dass automatisierte Eingaben nicht konstant besser abschneiden als einfache Manuelle Eingaben in vielen Lernszenarien.

#Zentrale Beiträge

1. Wir haben automatisierte Eingaben genau unter die Lupe genommen und festgestellt, dass sie nicht regelmässig besser sind als manuelle Eingaben, selbst wenn die manuellen einfach sind und aus einer kleinen Auswahl gewählt wurden.
2. Unsere Forschung zeigt, dass alleiniges Feintuning eine solide Grundlage für die Leistung in verschiedenen Lernumgebungen schafft.
3. Indem wir zeigen, wie automatisierte Eingaben erstellt wurden, erklären wir, warum sie möglicherweise nicht so effektiv sind wie ihre manuellen Gegenstücke.

#Verwandte Forschung

Der Bedarf an besseren Eingaben entstand mit dem Aufstieg der LLMs, die mit wenigen Beispielen lernen können. Frühere Versuche konzentrierten sich darauf, Eingaben von Hand zu erstellen, aber das verschob sich bald in Richtung automatisierter Designs. Einige Forscher arbeiteten daran, Schlüsselwörter für Eingaben zu identifizieren, während andere Frameworks entwickelten, die automatisch Eingaben mithilfe von Methoden wie gradientenbasierter Suche generieren. Neuere Strategien beinhalteten die Verwendung verschiedener Arten von Darstellungen für Eingaben, was darauf hindeutet, dass Eingaben flexibler sein können als nur spezifische Wörter zu verwenden.

#Die Vergleiche, die wir gemacht haben

In dieser Arbeit haben wir zwei repräsentative Methoden der automatisierten Eingabegestaltung untersucht: AutoPrompt und Differential Prompt. Wir haben sie mit manuell erstellten Eingaben verglichen und auch mit einer Methode des Feintunings ohne Eingaben.

#Experimentelle Einrichtung

Wir haben ein starkes Framework zum Testen, wie gut verschiedene Eingabestrategien funktionieren. Wir konzentrierten uns auf Situationen, in denen nur wenige Beispiele verfügbar waren. Drei Arten von Modellen wurden getestet: manuelle Eingaben, automatisierte Eingaben von AutoPrompt und differenzierte Eingaben.

#Verwendete Datensätze

Wir führten Experimente mit sechs Datensätzen durch. Dazu gehörten Aufgaben zur Sentimentanalyse und andere Arten von Textbeziehungen. Das Ziel war es zu überprüfen, wie gut die Modelle mit den begrenzten Daten abschneiden, die sie erhielten.

#Gestaltung von Eingaben

Wir erstellten Eingaben, die den Eingabetext mit einem Platzhalter kombinierten, damit das Modell verstand, was benötigt wurde. Für manuelle Eingaben verwendeten wir Beispiele aus früheren Studien. Für automatisierte Eingaben verwendeten wir Trigger-Tokens, um dem Modell zu helfen, die Eingabe mit der erwarteten Ausgabe zu verbinden.

#Hauptfunde

Als wir die Ergebnisse betrachteten, stellten wir fest, dass manuelle Eingaben in den meisten Fällen am besten abschnitten. Sie waren in 13 von 24 Setups stärker. Automatisierte Eingaben funktionierten nicht immer gut, wobei einige Setups zeigten, dass sie im Vergleich zu manuellem Prompt oder sogar Feintuning schlecht abschnitten.

#Leistungsbeobachtungen

1. Manuelle Eingaben übertrafen in der Regel automatisierte in verschiedenen Szenarien.
2. In einigen Fällen schnitten automatisierte Methoden nicht besser ab als einfaches Feintuning.
3. Bei kleineren Datenmengen führten Eingaben oft zu deutlich besseren Ergebnissen.
4. Automatisiertes Prompting fiel manchmal dramatisch durch und zeigte Inkonsistenzen in den Ergebnissen, während manuelles Prompting sich als zuverlässiger erwies.

#Weitere Analyse der Eingaben

Durch unsere Analyse stellten wir fest, dass automatisierte Eingaben oft an Generalisierbarkeit mangeln. Sie werden basierend auf einer begrenzten Anzahl von Beispielen generiert, die möglicherweise nicht alle Szenarien gut abdecken. Im Gegensatz dazu stammen manuell erstellte Eingaben oft aus breiterem menschlichen Wissen und können sich an unterschiedliche Kontexte anpassen.

#Auswirkungen auf künftige Forschung

Wir empfehlen, dass zukünftige Studien manuelle Eingaben als Ausgangspunkt betrachten. Unsere Ergebnisse deuten darauf hin, dass, obwohl Automatisierung Zeit sparen kann, sie nicht immer bessere Ergebnisse liefert. Wir glauben, dass es immer noch viel Raum für Verbesserungen im Design von manuellen Eingaben und Verbalizern gibt.

#Fazit

Zusammenfassend zeigt diese Forschung, dass automatisierte Eingaben nicht konstant besser abschneiden als manuelle Eingaben. Obwohl automatisierte Methoden verlockend sein können, könnten sie in vielen Situationen zu schwächeren Leistungen führen. Manuelle Eingaben bieten eine stabilere Grundlage für Lernaufgaben, insbesondere wenn die Daten begrenzt sind. Wir hoffen, dass diese Analyse die Forscher dazu ermutigt, ihre Herangehensweise an das Eingabedesign zu überdenken und die Vorteile manueller Methoden zu berücksichtigen.