Die sich entwickelnde Rolle von Prompt Engineering mit fortgeschrittenen Modellen

Grosse Sprachmodelle (LLMs) haben massive Fortschritte bei Aufgaben der Softwareentwicklung gemacht. Diese Modelle können Dinge tun wie Code generieren, ihn von einer Sprache in eine andere übersetzen und zusammenfassen. Früher waren Techniken des Prompt Engineerings entscheidend, um die besten Ergebnisse aus diesen Modellen zu bekommen. Aber mit dem schnellen Wachstum von Modellen wie GPT-4o und den reasoning-fokussierten Modellen o1 und o1-mini müssen wir uns fragen: Brauchen wir diese komplexen Tricks des Prompt Engineerings noch?

In diesem Artikel tauchen wir ein, wie Prompt Engineering mit diesen fortgeschrittenen Modellen funktioniert, besonders bei drei Hauptaufgaben: Code-Generierung, Code-Übersetzung und Code-Zusammenfassung. Wir werden sehen, ob diese fancy Techniken immer noch einen Unterschied machen, wie sich die Reasoning-Modelle gegen ihre nicht-reasoning Freunde schlagen und ob die höheren Kosten dieser fortgeschrittenen Modelle es wert sind.

#Die Grundlagen von grossen Sprachmodellen

LLMs sind beeindruckend. Sie können menschenähnlichen Text schreiben und die Sprache auf eine Art verstehen, die sie für verschiedene Aufgaben grossartig macht. Softwareentwickler nutzen LLMs für allerlei Aufgaben, aber ihr volles Potenzial zu entfalten, bedeutete oft, dass man die Prompts sorgfältig gestalten musste – wie klare Anweisungen für einen etwas verwirrten Roboter. Diese Prompts helfen den Modellen, besser zu arbeiten, indem sie die Eingaben strukturieren.

Einige gängige Techniken sind Few-Shot-Prompting, bei dem man dem Modell ein paar Beispiele gibt, und Chain-of-Thought-Prompting, wo man das Modell Schritt für Schritt durch den Denkprozess führt.

Obwohl diese Techniken vielversprechend waren, bleiben Herausforderungen bestehen. Modelle können manchmal Prompts missverstehen oder falsche Informationen generieren. Das ist so, als würde man einen Freund um Hilfe bitten und stattdessen eine Antwort bekommen, die einen nur noch verwirrt.

#Was gibt’s Neues bei Reasoning-Modellen?

Jüngste Fortschritte haben zur Entstehung von Reasoning-Modellen geführt. Diese LLMs, wie o1 und o1-mini, haben eingebaute Fähigkeiten, um komplexe Denkaufgaben besser zu bewältigen. Sie können Probleme in einfachere Schritte aufteilen, so wie ein guter Lehrer es bei einem schwierigen Matheproblem tun würde. Aber hier ist der Haken: Viele der früher verwendeten Prompt Engineering-Techniken wurden für ältere Modelle wie ChatGPT-3.5 entwickelt.

Deshalb müssen wir neu bewerten, wie effektiv diese Techniken bei den neueren Modellen sind. Das bringt uns zu unserer ersten Frage: Sind die alten Tricks des Prompt Engineerings bei fortgeschrittenen LLMs noch wirksam?

#Bewertung der Prompt Engineering-Techniken

Um das herauszufinden, hat unsere Studie drei gängige Aufgaben in der Softwareentwicklung untersucht: Code-Generierung, Code-Übersetzung und Code-Zusammenfassung. Durch den Vergleich der Leistung verschiedener Ansätze mit beiden, nicht-reasoning Modellen (wie GPT-4o) und Reasoning-Modellen (wie o1-mini), konnten wir feststellen, ob diese komplexen Prompts noch hilfreich waren.

#Code-Generierung

Die Code-Generierung ist die Aufgabe, neuen Code basierend auf einem gegebenen Prompt zu erstellen. Wir haben verschiedene Ansätze getestet, um zu sehen, welche am besten mit sowohl GPT-4o als auch o1-mini funktioniert haben.

Die Ergebnisse zeigten, dass die Effektivität der Prompt Engineering-Techniken bei o1-mini weniger ausgeprägt war als bei GPT-4o. Zum Beispiel hat der AgentCoder-Ansatz, der ein Multi-Agenten-Framework ist, gut mit GPT-4o funktioniert, aber weniger Nutzen bei o1-mini gesehen.

Interessant ist, dass bei einigen Reasoning-Modellen einfache Prompts ohne spezielle Techniken tatsächlich besser funktioniert haben. Das ist so, als ob man jemandem um Hilfe bittet und eine klarere Antwort bekommt, wenn sie einfach selbst denken können, anstatt komplizierte Anweisungen zu befolgen.

#Code-Übersetzung

Als nächstes kam die Code-Übersetzung, bei der wir untersucht haben, wie gut Modelle Code von einer Programmiersprache in eine andere übersetzen konnten. Ähnlich wie bei der Code-Generierung haben wir festgestellt, dass Reasoning-Modelle oft wenig von Prompt Engineering-Techniken profitierten.

Die Technik "Summarize-and-Generate" hat zum Beispiel nicht besser abgeschnitten als einfachere Prompt-Strategien. Bei der Verwendung von o1-mini zeigte sich, dass überkomplizierte Prompts manchmal zu schlechteren Leistungen führten. Es ist, als ob das Modell sich in der Übersetzung verloren hat, anstatt zu helfen, die Dinge zu klären.

#Code-Zusammenfassung

Schliesslich haben wir die Code-Zusammenfassung untersucht, bei der die Aufgabe darin besteht, eine kurze Beschreibung dessen zu erstellen, was ein Stück Code macht. Wieder sahen wir, dass viele Prompt-Strategien die Leistung bei GPT-4o verbesserten, o1-mini jedoch nicht immer die gleiche Verbesserung zeigte.

Tatsächlich bedeutete die Verwendung von Reasoning-Modellen wie o1-mini manchmal, dass die Ausgaben unnötige Details beinhalteten, was es für die Nutzer schwieriger machte, genau das zu finden, was sie brauchten. Das ist so, als würde man eine ausführliche Antwort bekommen, wenn man nur ein einfaches Ja oder Nein wollte.

#Was ist das Fazit?

Was bedeutet das alles? Nun, es scheint, dass die fortgeschrittenen Reasoning-Modelle das Spiel verändert haben. Während Prompt Engineering-Techniken nach wie vor ihren Platz haben, bieten sie nicht immer die gleichen Vorteile wie früher.

Für Aufgaben, die weniger komplex sind und kein tiefes Denken erfordern, könnten einfachere Prompts gleichwertige oder bessere Ergebnisse erzielen. Wenn es um komplizierte Aufgaben geht, die viel Denken erfordern, ist die Verwendung von nicht-reasoning Modellen möglicherweise nicht immer die beste Wahl. Manchmal können Reasoning-Modelle diese Aufgaben effektiver ohne komplizierte Prompts bewältigen.

Jetzt lass uns in die Details eintauchen, wann und wie du zwischen der Verwendung von Prompt Engineering-Techniken und fortgeschrittenen LLMs wählen solltest.

#Kluge Entscheidungen treffen: Techniken und Modelle auswählen

Als Praktiker willst du sicherstellen, dass du den besten Ansatz verwendest, um Effizienz zu maximieren und Kosten zu minimieren. Hier sind ein paar wichtige Punkte, die du beachten solltest, wenn du zwischen nicht-reasoning und reasoning Modellen wählst:

#Sieh dir die Komplexität der Aufgabe an

Für Aufgaben, die kein intensives Denken erfordern, wie grundlegende Code-Generierung oder einfache Zusammenfassungsanfragen, solltest du in Erwägung ziehen, bei nicht-reasoning Modellen wie GPT-4o zu bleiben. Die werden dir wahrscheinlich Geld und Zeit sparen, ohne die Leistung zu opfern.

Wenn die Aufgabe komplexes Denken erfordert, überprüfe, ob die Einstellungen die richtigen Fragen stellen. In solchen Fällen kann die Wahl eines Reasoning-Modells wie o1-mini zu besseren Ergebnissen führen.

#Verstehe die Kosten

Reasoning-Modelle haben oft höhere Betriebskosten, sowohl zeitlich als auch finanziell. Wenn du eine Aufgabe schnell und effizient erledigen musst (wie eine Code-Zusammenfassung), möchtest du vielleicht auf einfachere, günstigere Optionen setzen.

Stell sicher, dass du die Kosten analysierst, die mit deiner gewählten Technik verbunden sind, einschliesslich der Token-Nutzung und der Antwortzeiten. Du willst nicht plötzlich ein Vermögen für etwas ausgeben, das keine grossen Ergebnisse bringt.

#Halte es einfach

Im Allgemeinen sind einfachere Prompts besser für Reasoning-Modelle. Da sie bereits mit fortgeschrittenen Funktionen ausgestattet sind, gibt es keinen Grund, die Dinge mit komplizierten Prompts zu verkomplizieren. Denk daran, es wie einem sehr schlauen Menschen zu geben, der einfache Anweisungen erhält, anstatt sie durch die Details zu führen.

#Fazit

In einer Welt mit schnell verbesserten Sprachmodellen hat sich die Bedeutung des Prompt Engineerings verschoben. Während diese Techniken nach wie vor wertvoll sind, insbesondere für nicht-reasoning Modelle, sind sie bei fortgeschrittenen Reasoning-Modellen nicht immer notwendig.

Wenn wir nach vorne schauen, denk daran, Genauigkeit und Effizienz über Komplexität zu priorisieren. Die Wahl des richtigen Modells und Ansatzes basierend auf den Anforderungen der Aufgabe kann nicht nur zu besserer Leistung führen, sondern auch zu Kosteneinsparungen und einer einfacheren Benutzererfahrung.

Und da hast du es! Es scheint, dass das Prompt Engineering vielleicht in den Hintergrund treten muss, während diese neuen Modelle sich auf die Reise in die Zukunft vorbereiten!