Bewertung von grossen Sprachmodellen in Multi-Agent-Umgebungen

Aktuelle Entwicklungen bei grossen Sprachmodellen (LLMs) zeigen, dass sie als unabhängige Agenten mit menschenähnlicher Intelligenz fungieren können. Allerdings basieren die derzeitigen Tests zur Bewertung dieser LLM-Agenten oft auf festen Datensätzen, die möglicherweise kein vollständiges Bild liefern, aufgrund von Datenleckagen oder sich nur auf Situationen mit einem einzelnen Agenten konzentrieren. Dieser Ansatz ignoriert die Herausforderungen, die auftreten, wenn mehrere Agenten interagieren. Es besteht Bedarf an einem umfassenden Benchmark, der die unterschiedlichen Fähigkeiten von LLM-Agenten in dynamischen, multi-agenten Umgebungen misst.

Um diese Lücke zu schliessen, präsentieren wir einen neuen Rahmen, der leicht erweiterbar ist, um die Fähigkeiten von LLMs in verschiedenen Spiel-Szenarien zu testen. Dieser Rahmen umfasst sieben einzigartige Spielumgebungen, die grundlegende Fähigkeiten für LLM-Agenten bewerten. Zu diesen Fähigkeiten gehören räumliches Denken, strategische Planung, numerisches Denken, Risikobewertung, Kommunikation, Modellierung von Gegnern und Teamarbeit. Wir haben umfangreiche Tests und menschliche Bewertungen mit verschiedenen Grössen und Typen von LLMs durchgeführt. Die Ergebnisse zeigen, dass LLMs noch einen weiten Weg vor sich haben, insbesondere in der Modellierung von Gegnern und Teamarbeit. Wir hoffen, dass dieser Rahmen zukünftige Forschungen anleitet, die sich auf die Verbesserung dieser Fähigkeiten bei LLMs konzentrieren, was zu praktischeren Anwendungen in aktiven, multi-agenten Umgebungen führt. Der Code und die Daten werden öffentlich geteilt.

#Überblick über grosse Sprachmodelle

Neueste Fortschritte bei grossen Sprachmodellen (LLMs) haben die Verarbeitung natürlicher Sprache (NLP) stark beeinflusst, dank ihrer beeindruckenden Fähigkeiten in verschiedenen Aufgaben ohne spezifisches Training. LLMs sind nicht nur gut darin, komplexen Text zu verstehen und zu erzeugen, sondern zeigen auch eine bemerkenswerte Fähigkeit, sich mit nur wenigen Hinweisen an neue Situationen anzupassen. Diese Eigenschaften inspirieren Forscher, LLMs als autonome Agenten zu betrachten, die bei komplexen, realen Aufgaben wie Softwareentwicklung und Informationsintegration helfen können.

Um die Fähigkeiten von LLMs als Agenten besser zu bewerten, konzentrieren sich Forscher darauf, Szenarien zu schaffen, um zu überprüfen, wie gut LLMs unter verschiedenen Bedingungen abschneiden. Zum Beispiel wurden einige Benchmarks entwickelt, um die LLM-Leistung in Bereichen wie Code-Generierung und Denken in Spielsituationen zu untersuchen. Trotz dieser Bemühungen gibt es Einschränkungen der bestehenden Benchmarks. Erstens können die statischen Datensätze, die in Tests verwendet werden, zu Problemen wie Datenleckagen und Overfitting führen, da LLMs diese Daten möglicherweise während des Trainings bereits gesehen haben. Zweitens übersehen die aktuellen Bewertungstechniken, die sich nur auf Einzelagenten-Szenarien konzentrieren, die komplexen Interaktionen, die auftreten, wenn mehrere Agenten in einer gemeinsamen Umgebung agieren.

#Einführung des neuen Benchmarks

Um diese Lücken zu füllen, schlagen wir einen dynamischen Bewertungsbenchmark vor, der speziell für die Interaktionen von mehreren Agenten konzipiert ist. Dieser Benchmark bietet sieben verschiedene Arten von dynamischen, multi-agenten Spielumgebungen. Zum Beispiel erzeugt die Texas Hold'em Poker-Spielumgebung bei jedem Spiel eine neue Hand, was die Komplexität mit jeder Runde erhöht und das Risiko von Datenleckagen verringert. In der Undercover-Umgebung müssen LLM-Agenten den "Undercover"-Spieler während der Kommunikation identifizieren, was die Bewertung ihrer Kommunikations- und Gegner-Modellierungsfähigkeiten ermöglicht.

Durch diese Umgebungen können wir die Fähigkeiten der LLMs umfassend bewerten, wie das Verständnis von Raum, strategische Planung, numerisches Denken, Risikobewertung, effektive Kommunikation, Modellierung von Gegnern und die Zusammenarbeit in Teams in einer dynamischen Multi-Agenten-Umgebung.

Um eine genauere Bewertung der LLM-Leistung innerhalb dieser Umgebungen zu erreichen, haben wir ein Punktesystem übernommen, das hilft, andere Metriken neben der grundlegenden Gewinnquote zu bewerten, wie das Fähigkeitsniveau im Vergleich zu anderen Agenten. Dies ermöglicht ein tieferes Verständnis der Leistung in verschiedenen Szenarien und gegen verschiedene Gegner.

Wir haben umfassende Experimente und menschliche Bewertungen mit 14 verschiedenen LLMs durchgeführt. Die Ergebnisse zeigten erhebliche Verbesserungsbedarfe in den Fähigkeiten zur Teamarbeit und Gegner-Modellierung unter LLMs in multi-agenten Umgebungen. Wir hoffen, dass dieser Benchmark zukünftige Forschungsanstrengungen inspiriert, die darauf abzielen, die Kernfähigkeiten in multi-agenten Umgebungen zu stärken und die breitere Nutzung von LLM-Agenten in realen Anwendungen zu fördern.

#Detaillierte Übersicht über den Benchmark

In diesem Abschnitt geben wir einen umfassenden Überblick über den neuen Benchmark, der sieben unterschiedliche Spielumgebungen, Bewertungsmetriken und Methoden zur Bewertung umfasst.

#Überblick über die Spielumgebung

Jede Umgebung in unserem Benchmark erfordert von LLMs, eine einzigartige Reihe von Fähigkeiten zu nutzen, um die Herausforderungen effektiv zu meistern. Zum Beispiel müssen LLMs in der Undercover-Umgebung eine Reihe von Fähigkeiten demonstrieren, einschliesslich Gegner-Modellierung, effektive Kommunikation und Teamarbeit. Das Fehlen selbst einer dieser Fähigkeiten könnte zum Scheitern in dieser Umgebung führen.

#Erstellung des Benchmarks

Um die Benutzerfreundlichkeit und Skalierbarkeit sicherzustellen, haben wir den Benchmark auf einer bestehenden Plattform als Grundlage aufgebaut. Dadurch können andere Forscher leicht neue Umgebungen in diesen Rahmen integrieren. Indem sie sich an definierte Schnittstellenspezifikationen halten, können sie nahtlos weitere Umgebungen zur Bewertung der LLM-Fähigkeiten hinzufügen. Jede Umgebung bietet Eingabeaufforderungen, die die Spielregeln erklären und Vorlagen bieten, um LLM-Agenten durch das Gameplay zu führen. Diese Eingabeaufforderungen umfassen den Spielstatus, historische Daten und mögliche Aktionen und schaffen ein strukturiertes Spielerlebnis für die LLM-Agenten.

#Bewertungsmetriken

In diesem Abschnitt skizzieren wir die Bewertungsmetriken, die im Benchmark verwendet werden, und wie sie sich von den Metriken in früheren Forschungsarbeiten unterscheiden. Unser Punktesystem bewertet die Fähigkeitsniveaus mehrerer Agenten in wettbewerbsorientierten Umgebungen, im Gegensatz zu statischen, gegnerunabhängigen Metriken, die in früheren Studien verwendet wurden. Dieses System berücksichtigt Gewinne, Verluste und die Qualität des Gameplays und berücksichtigt dabei Fähigkeitsunterschiede zwischen den Spielern. Gewinnen gegen hochqualifizierte Gegner bringt mehr Punkte ein als gegen weniger qualifizierte, wodurch eine genauere Bewertung der tatsächlichen Fähigkeiten eines Agenten in einer Multi-Agenten-Umgebung möglich ist.

#Analyse der Spielumgebungen

#TicTacToe

TicTacToe ist ein klassisches Strategiespiel, bei dem zwei LLM-Agenten abwechselnd ein 3x3-Raster markieren. Ein Spieler gewinnt, indem er drei Markierungen in einer Reihe ausrichtet – horizontal, vertikal oder diagonal. Wenn alle Felder ausgefüllt sind, ohne dass ein Gewinner ermittelt werden konnte, endet das Spiel unentschieden. Dieses Spiel testet LLMs in Bezug auf strategische Planung und räumliches Denken. Wir verwenden Bewertungssysteme zur Bewertung.

#ConnectFour

ConnectFour ist ein komplexeres Brettspiel, das ein 6x7-Raster verwendet. Hier wählen zwei LLM-Agenten abwechselnd Spalten mit leeren Feldern aus. Das Ziel ist es, vier ihrer Marker horizontal, vertikal oder diagonal zu verbinden. Dieses Spiel bewertet ebenfalls die Fähigkeiten zur strategischen Planung und räumlichem Denken. Dasselbe Bewertungssystem gilt auch für dieses Spiel.

#Texas Hold’em

Texas Hold'em ist ein bekanntes Kartenspiel. Jedes Spiel wird zwischen zwei LLM-Agenten gespielt. Die Spieler beginnen mit zwei privaten Karten und versuchen, die beste Fünf-Karten-Hand zu bilden, indem sie diese und die in mehreren Phasen aufgedeckten Gemeinschaftskarten verwenden. Dieses Spiel erfordert verschiedene Fähigkeiten, einschliesslich numerischem Denken, Gegner-Modellierung und Risikobewertung. Das Bewertungssystem wird zur Bewertung verwendet.

#Undercover

Im Undercover-Gesellschaftsspiel werden die Spieler in Undercover- und Nicht-Undercover-Rollen unterteilt, wobei jeder unterschiedliche, aber ähnliche geheime Wörter erhält. Die Spieler geben während einer Kommunikationsphase Hinweise auf ihre Wörter, gefolgt von einer Abstimmungsrunde, um den Undercover-Spieler zu identifizieren. Dieses Spiel testet die Fähigkeiten der LLM-Agenten in Kommunikation, Gegner-Modellierung und Teamarbeit. Die Leistung wird durch die Gewinnquote jedes LLM, das als Undercover-Agent agiert, gemessen.

#Bargain

Im Bargain-Spiel müssen zwei LLM-Agenten verhandeln, wie sie einen Pool von Gegenständen aufteilen, wobei jeder Gegenstand unbekannte Werte für beide Agenten hat. Das Ziel ist es, eine Einigung zu erzielen. Ein Gewinn erfolgt, wenn ein Agent den Gesamtwert der erhaltenen Gegenstände maximiert. Dieses Spiel bewertet die Fähigkeiten im numerischen Denken, Kommunikation und Gegner-Modellierung.

#First-Price Sealed-Bid Auction

In diesem Auktionsszenario reichen zwei LLM-Agenten Gebote ein, ohne die Angebote des anderen zu kennen. Der Höchstbietende gewinnt, und das Ziel ist es, ein optimales Gebot zu bestimmen, das das Gewinnen der Auktion und das Vermeiden von Übergeboten ausbalanciert. Dieses Spiel bewertet Fähigkeiten im numerischen Denken und in der Gegner-Modellierung basierend auf den durchschnittlichen Belohnungen.

#Hanabi

Hanabi ist ein kooperatives Kartenspiel, bei dem zwei LLM-Agenten nur die Karten des jeweils anderen sehen können. Die Spieler nutzen Informationstoken, um Karten aufzudecken, Karten abzulegen, um mehr Tokens zu erhalten, und Karten in einer festgelegten Reihenfolge zu spielen, um Feuerwerke zu bauen. Dieses Spiel erfordert Teamarbeit, strategische Planung und numerisches Denken. Die durchschnittlichen Punkte, die durch erfolgreiches Aufstellen von Feuerwerken erzielt werden, dienen als Bewertungsmetriken.

#Experimentelles Setup

In unseren Experimenten haben wir verschiedene Grössen und Typen von LLMs verwendet, indem wir direkt die APIs der geschlossenen Modelle aufgerufen und Open-Source-Modelle lokal bereitgestellt haben. Um konsistente Ergebnisse zu erzielen, haben wir die Temperatur aller Modelle auf null gesetzt. In den meisten Umgebungen haben wir mehrere Durchläufe durchgeführt, bis sich die Bewertungen der Modelle stabilisierten, wobei mehr als 50 Spiele pro Umgebung und Modell gespielt wurden. Für das Undercover-Spiel haben wir 100 Spiele mit jedem LLM gespielt, das undercover gegen mehrere Nicht-Undercover-Agenten agierte.

#Hauptresultate

Die folgenden Ergebnisse zeigen die relativen Punktzahlen von 14 verschiedenen LLMs in den sieben Umgebungen und liefern wichtige Einblicke:

1. Grössere LLM-Modelle zeigten deutliche Verbesserungen in der Leistung. Modelle mit rund 70 Milliarden Parametern erreichten im Durchschnitt 82,87, während Modelle mit 30 Milliarden und 10 Milliarden Parametern Scores von 80,68 bzw. 71,05 erzielten. Der Leistungsvorteil durch die Erhöhung der Modellgrösse von 10 Milliarden auf 30 Milliarden war grösser als von 30 Milliarden auf 70 Milliarden.

2. Einige Modelle zeigten unerwartete Ergebnisse in bestimmten Umgebungen. Zum Beispiel fiel die Leistung eines Modells im Undercover-Spiel im Vergleich zu einem kleineren Pendant erheblich ab, was von den typischen Mustern abwich.

3. Leistungsdefizite wurden in Umgebungen festgestellt, die sich auf Biet- und Hanabi-Spiele konzentrierten, wo LLMs, insbesondere kleinere Modelle, Schwierigkeiten mit numerischem Denken und Gegner-Modellierung hatten.

4. Es gab einen klaren Unterschied zwischen der Leistung von GPT-4 und anderen Modellen, wobei GPT-4 die besten Ergebnisse in allen bewerteten Aufgaben erzielte.

#Fähigkeitenbewertung von LLMs

#Räumliches Verständnis

Um das räumliche Verständnis zu bewerten, haben wir Selbstspiel-Spiele mit verschiedenen LLMs durchgeführt und deren Gewinnquoten und Häufigkeiten illegaler Züge verfolgt. Als die Positionierungs-Hinweise entfernt wurden, stiegen die Halluzinationen um 59,5%, während die Gewinnquoten im Durchschnitt um 38,3% fielen. Das deutet darauf hin, dass LLMs Schwierigkeiten haben, räumliche Anordnungen ohne explizite Anleitung zu verstehen.

#Strategische Planung

Wir haben eine spezifische Bewertungsfunktion für die ConnectFour-Umgebung entwickelt, um die Fähigkeiten zur strategischen Planung unter LLMs zu bewerten. Während zufälliger Kämpfe erreichten LLMs mit mehr Parametern konstant bessere Ergebnisse, während kleinere Modelle oft keine effektiven strategischen Entscheidungen treffen konnten.

#Kommunikation

In Spielen wie Undercover haben wir die Genauigkeit der Hinweise analysiert, die LLMs während des Spiels gegeben haben. Während LLMs hervorragend darin waren, Hinweise zu geben, hatten sie Schwierigkeiten, Hinweise von anderen effektiv zu interpretieren, was häufig zu Fehlern beim Verstehen komplexer Kommunikationen führte.

#Gegner-Modellierung

Im Undercover-Spiel mussten LLMs die geheimen Wörter anderer basierend auf ihren Hinweisen ableiten. Die Ergebnisse zeigten, dass nur GPT-4 konstant in der Lage war, sich als Undercover-Agent zu identifizieren, was auf überlegene analytische Fähigkeiten im Vergleich zu anderen Modellen hindeutet.

#Numerisches Denken

In Auktionsszenarien gaben LLMs typischerweise Gebote ab, die über den optimalen Niveaus lagen, was auf Schwierigkeiten hinweist, das Gleichgewicht zwischen dem Gewinnen und dem Überbieten zu verstehen. Viele Modelle zeigten eine Tendenz, hohe Gebote ohne ausreichende Berücksichtigung ihrer tatsächlichen Bewertungen abzugeben.

#Risikobewertung

In der Texas Hold'em-Umgebung beobachteten wir, dass LLMs vorsichtig bei Risikobewertungen waren und sich für konservative Strategien entschieden, während GPT-4 eine robuste Bewertungsfähigkeit zeigte und strategisch angemessene riskante Aktionen auswählte.

#Teamarbeit

In Hanabi neigten LLMs dazu, bestimmte Aktionen, die für Teamarbeit erforderlich sind, übermässig zu nutzen, und schafften es oft nicht, Informationen effektiv zu teilen, was letztendlich ihren kollektiven Erfolg beim Aufstellen von Feuerwerken hinderte.

#Verwandte Forschung

Während LLMs sich weiterentwickeln, könnten traditionelle Bewertungspraktiken ihre Leistung einschränken. Neue Benchmarks zielen darauf ab, LLMs aus verschiedenen Blickwinkeln zu untersuchen, einschliesslich Anpassungsfähigkeit, realen Anwendungen und Zusammenarbeit. Viele Studien konzentrieren sich darauf, LLMs als Agenten zu betrachten, übersehen jedoch oft die Komplexität, die in multi-agenten Szenarien inhärent ist. Unsere Forschung versucht, ein klareres Bild davon zu bieten, wie LLMs in komplexeren, dynamischen Umgebungen abschneiden.

#Fazit

In dieser Arbeit haben wir einen Benchmark vorgestellt, der darauf abzielt, die verschiedenen Fähigkeiten von LLM-Agenten in dynamischen, multi-agenten Umgebungen zu bewerten. Unsere Ergebnisse zeigen, dass LLMs in einigen Bereichen Fähigkeiten zeigen, aber signifikante Schwächen in räumlichem Denken, Gegner-Modellierung und Teamarbeit aufweisen. Die Verbesserung der Leistung von LLM-Agenten bleibt eine Herausforderung, die weitere Forschung erfordert. Wir ermutigen zukünftige Forscher, unseren Benchmark zu nutzen, um eine breitere Palette von Szenarien zu bewerten und letztendlich das Potenzial von LLMs zu erhöhen.

#Ethische Überlegungen

Es gibt wichtige ethische Fragen rund um LLM-Agenten, insbesondere in Bezug auf verantwortungsvolle Nutzung und das Potenzial für Missbrauch. Da LLMs immer mehr Entscheidungsrollen übernehmen, wird Verantwortlichkeit zu einem wichtigen Thema. Sicherzustellen, dass ihre Bereitstellung mit ethischen Richtlinien übereinstimmt, erfordert robuste Rahmenbedingungen und Überwachung, um unethische Anwendungen zu verhindern.

#Detailliertes Prompt-Design für Spielumgebungen

In diesem Abschnitt präsentieren wir detaillierte Eingabeaufforderungen, die für jede Spielumgebung in unserem Benchmark entworfen wurden. Diese Eingabeaufforderungen sind entscheidend, um die Agenten durch ihre Interaktionen zu führen, ähnlich den Einstellungen, die in der Verstärkungslernen verwendet werden.

• System-Prompt: Dieser gibt dem LLM Anweisungen zu seiner Rolle und den Spielregeln, um sein Verhalten in der Umgebung zu formen.

• Beobachtungs-Prompt: Dieser enthält notwendige Zustandsinformationen, damit die Agenten die aktuelle Situation verstehen können, wie die Aktionen der Gegner, den Spielstatus und verfügbare Aktionen.

• Aktions-Prompt: Diese Eingabeaufforderungen leiten die Agenten an, ihre Aktionen auszuwählen und enthalten zusätzliche Denkaufforderungen, um den Denkprozess zu stimulieren.

Mit diesen strukturierten Eingabeaufforderungen können die Agenten erfolgreich in jedem Spiel agieren und effektive Entscheidungen treffen.

#Fallstudien und Fehlanalyse

In diesem Teil bieten wir Fallstudien, die veranschaulichen, wie LLMs in bestimmten Umgebungen Entscheidungen getroffen haben, und heben häufige Fehler hervor.

Zum Beispiel machten kleinere Modelle während ConnectFour manchmal kontraproduktive Züge, die versehentlich ihrem Gegner halfen. Selbst grössere Modelle wie GPT-4 verpassten gelegentlich Gelegenheiten, ihre Belohnungen zu maximieren, was darauf hindeutet, dass LLMs möglicherweise nicht vollständig verstehen, wie man Spielstrategien umsetzt, trotz ihrer fortschrittlichen Fähigkeiten.

Zusätzlich kämpfte ein Agent im Undercover-Spiel damit, Hinweise korrekt zu interpretieren, was zu fehlerhaften Abstimmungen für Undercover-Agenten führte. Im Gegensatz dazu analysierte GPT-4 erfolgreich die Situation und passte seine Strategie an, um nicht entdeckt zu werden.

Zusammenfassend zeigt unsere Forschung durch die Analyse unterschiedlicher Spielumgebungen und spezifischer LLM-Verhalten sowohl das Potenzial als auch die Grenzen von LLMs in komplexen, dynamischen Interaktionen. Das Verständnis dieser Herausforderungen ist entscheidend für zukünftige Fortschritte in der LLM-Technologie.