Präsentation von LawLuo: Ein neuer Ansatz für rechtliche Unterstützung

Grosse Sprachmodelle (LLMs) haben sich als nützlich erwiesen, um rechtliche Hilfe für Leute zu bieten, die keine juristische Ausbildung haben. Allerdings beschränken viele aktuelle LLMs in China ihre Interaktionen auf ein Eins-zu-eins-Gespräch. Das ist anders als in Anwaltskanzleien, wo mehrere Experten gemeinsam an Beratungen arbeiten. Diese Einschränkung verringert die Effektivität dieser Modelle, echte Beratungserfahrungen zu liefern. Zudem sehen sich diese Modelle Herausforderungen gegenüber, wie der Qualität ihrer Trainingsdaten, Verwirrung durch unklare Nutzerfragen und einer nachlassenden Fähigkeit, detaillierte Anweisungen über längere Gespräche hinweg zu befolgen.

Um diese Herausforderungen anzugehen, stellen wir ein neues System namens LawLuo vor. Dieses System besteht aus vier Agenten: einem Empfangsmitarbeiter, einem Anwalt, einem Sekretär und einem CHEF. Jeder Agent hat seine eigene Rolle, und zusammen arbeiten sie daran, Nutzern eine vollständige rechtliche Beratung zu bieten. Ausserdem haben wir zwei detaillierte rechtliche Dialogdatensätze erstellt, um unser Sprachmodell effektiv zu trainieren.

#Hintergrund zu LLMs im juristischen Dienstleistungsbereich

Der Aufstieg von Modellen wie ChatGPT hat die Entwicklung chinesischer LLMs beschleunigt. Viele dieser Modelle, wie ChatGLM und LLaMa, können gut Chinesisch verstehen und darauf reagieren. Es gibt auch Modelle, die speziell für Bereiche wie Medizin, Finanzen und Recht entwickelt wurden, um spezifische Nutzerbedürfnisse zu bedienen.

Juristische LLMs wurden entwickelt, um schnelle, präzise Antworten auf rechtliche Fragen für diejenigen ohne juristische Kenntnisse zu bieten. Neuere Modelle wie LawGPT und lawyer-llama nutzen grosse Datensätze chinesischer Rechtsdialoge, um sich selbst zu trainieren. Obwohl diese Modelle in der Lage sind, an rechtlichen Diskussionen teilzunehmen, haben sie immer noch Schwierigkeiten, den tatsächlichen Prozess der Konsultation eines Anwalts nachzuahmen, und vermissen den kooperativen Aspekt, der in der realen Rechtspraktik zu finden ist.

#Das LawLuo Framework

Das LawLuo-Framework zielt darauf ab, den realen Prozess der rechtlichen Beratung in Anwaltskanzleien zu replizieren. Wir beginnen damit, unser Hauptsprachmodell, ChatGLM-3-6b, mit hochwertigen Dialogdaten zu trainieren. Dieser Prozess hilft dabei, ein Modell zu schaffen, das mehrere Dialogrunden effektiv bewältigen kann.

#Design des Multi-Agenten-Systems

In LawLuo haben wir spezifische Rollen für unsere Agenten definiert, basierend darauf, wie Anwaltskanzleien arbeiten:

1. Empfangsmitarbeiter: Dieser Agent weist den Nutzer dem passenden Anwalt zu, je nach Anfrage.
2. Anwälte: Diese Agenten begleiten den Nutzer durch seine rechtlichen Fragen über mehrere Austauschrunden.
3. Sekretär: Dieser Agent organisiert das Gespräch in einen Bericht für den Nutzer und den Vorgesetzten.
4. Chef: Dieser Agent bewertet die Arbeit der Anwälte und des Sekretärs.

Das Design ermöglicht es diesen Agenten, zusammenzuarbeiten, um eine bessere Erfahrung für Nutzer zu schaffen, die rechtliche Unterstützung benötigen.

#Feinabstimmung der Anweisungen

Viele bestehende juristische LLMs haben grosse Mengen an Daten während ihres Trainings verwendet. Die Qualität dieser Daten kann jedoch oft schlecht sein. Wir haben einen kleineren, hochwertigen Datensatz entwickelt, der als KINLED bekannt ist und verschiedene Arten von Rechtsdialogen enthält. Die Verwendung eines kleineren Datensatzes mit hoher Qualität führt zu besserer Leistung bei der Unterstützung der Nutzer.

Wir haben auch mehrstufige Interaktionen aus einer Anwaltskanzlei gesammelt und einen weiteren Datensatz namens MURLED erstellt. Dies hilft unserem Modell, ein besseres Verständnis dafür zu entwickeln, wie man sich an längeren Gesprächen beteiligt, was seine Fähigkeit verbessert, präzise auf Nutzerfragen zu antworten.

#Vorteile von LawLuo

LawLuo bietet mehrere wichtige Vorteile gegenüber bestehenden Modellen:

1. Realistische Beratungserfahrung: Durch die Verwendung mehrerer Agenten simuliert das System den kollaborativen Prozess in Anwaltskanzleien. So erhält der Nutzer umfassende Ratschläge.
2. Hochwertige Antworten: Der Fokus auf qualitative Daten während des Trainings bedeutet, dass LawLuo präzisere rechtliche Ratschläge geben kann als Modelle, die auf grosse, aber niedrigqualitative Datensätze angewiesen sind.
3. Effektive Klärung von Anfragen: Das Framework enthält einen spezialisierten Algorithmus, der dabei hilft, vage Nutzeranfragen zu klären. Das ermöglicht klarere Kommunikation, was zu besseren Antworten führt.

#Bestätigung der Effektivität

Wir haben LawLuo mit bestehenden Modellen anhand verschiedener Kriterien getestet, wie dem Sprachstil, der Nützlichkeit der Ratschläge und der Genauigkeit des rechtlichen Wissens. Die Ergebnisse zeigten, dass LawLuo die konkurrierenden Modelle konstant übertroffen hat und damit seine Effektivität unter Beweis stellt.

#Leistung bei Einzelfragen

Bei einfachen, einstufigen Fragen hat LawLuo deutlich besser abgeschnitten als Basismodelle. Die Bewertungen wurden sowohl von menschlichen Experten als auch von anderen Sprachmodellen durchgeführt, was bestätigt, dass LawLuo effektiv relevante rechtliche Antworten liefert.

#Leistung in mehrstufigen Dialogen

Wir haben auch die Leistung von LawLuo in längeren Gesprächen bewertet. Die Ergebnisse zeigten, dass das System auch bei fortlaufendem Dialog hochwertige Antworten beibehielt. Diese Stärke resultiert aus der Verwendung von mehrstufigen Gesprächsdaten während des Trainings, was einen wesentlichen Vorteil gegenüber anderen Modellen darstellt, die hauptsächlich auf einstufigen Daten basieren.

#Beitrag jedes Bauelements

Um zu sehen, wie jeder Teil des Systems zur Gesamtleistung beiträgt, haben wir eine Ablationsstudie durchgeführt. Dabei wurden verschiedene Agenten entfernt und deren Einfluss auf die Effektivität des Systems analysiert. Die Ergebnisse zeigten, dass Agenten wie der Empfangsmitarbeiter und der Chef erheblich zur Verbesserung der Antworten beitragen.

#Eine Fallstudie zur Klärung von Anfragen

Um die Effektivität des Systems zu veranschaulichen, haben wir untersucht, wie LawLuo komplexe Nutzeranfragen klärt. Zum Beispiel könnte ein Nutzer, der nach Scheidungsverfahren fragt, durch eine Reihe von klärenden Fragen des Systems umfassendere Anleitungen erhalten. Dieser Ansatz führt zu präziseren Antworten, die den Bedürfnissen des Nutzers besser gerecht werden.

#Einschränkungen und zukünftige Richtungen

Trotz seiner Stärken hat LawLuo auch Einschränkungen. Wenn der Empfangsmitarbeiter beispielsweise den Nutzer versehentlich dem falschen Anwalt zuweist, kann das zu Missverständnissen und ineffektiven Beratungen führen. Zukünftige Verbesserungen könnten darin bestehen, ein dynamisches System zu schaffen, das Nutzer während eines Gesprächs dem richtigen Agenten zuweist.

Ausserdem nutzt derzeit nicht jeder Agent in LawLuo ein grosses Sprachmodell. Indem wir ein System entwickeln, in dem jeder Agent LLM-Technologie verwendet, können wir die Gesamtfähigkeit des Frameworks zur rechtlichen Unterstützung weiter verbessern.

#Fazit

LawLuo stellt einen bedeutenden Fortschritt im Bereich der rechtlichen KI-Hilfe dar. Durch die Implementierung eines kollaborativen Multi-Agenten-Frameworks bietet dieses System eine realistischere Erfahrung bei rechtlichen Beratungen. Seine starke Leistung bei der Bereitstellung hochwertiger rechtlicher Ratschläge hebt die Bedeutung eines fokussierten Ansatzes für Trainingsdaten hervor.

Die Erstellung der KINLED- und MURLED-Datensätze unterstreicht unseren Glauben, dass Datenqualität mehr Wert hat als schiere Menge bei der Verbesserung juristischer LLMs. Mit fortlaufenden Verbesserungen hat LawLuo das Potenzial, die Landschaft der rechtlichen Beratungsdienste weiter zu transformieren und bessere Unterstützung für Nutzer zu bieten, die rechtliches Wissen suchen.