Bewertung von LLMs in der GTFS-Datenanalyse

GTFS, oder die General Transit Feed Specification, ist ein Standardformat, das verwendet wird, um Daten zu öffentlichen Verkehrsmitteln zu veröffentlichen. Es hilft Verkehrsbehörden, ihre Fahrpläne und Routen so zu teilen, dass es für alle einfach zugänglich und verständlich ist. Seit es 2006 mit der Bay Area Rapid Transit Agency gestartet ist, haben viele Verkehrsbehörden weltweit diesen Standard übernommen. Etwa 75 % der Verkehrsbehörden nutzen GTFS, um ihre Daten zu teilen.

Beliebte Kartendienste wie Google Maps und Apple Maps basieren auf GTFS-Daten, um genaue Informationen über öffentliche Verkehrsmittel bereitzustellen. Obwohl GTFS das Teilen von Daten vereinfacht, kann die Analyse und Nutzung dieser Daten komplex sein. Nutzer müssen die verschiedenen Begriffe und Regeln im GTFS lernen, um die Daten richtig zu interpretieren. Zum Beispiel müssen bestimmte Dateien enthalten sein, und das Verständnis der Begriffsdefinitionen ist entscheidend, um die Daten effektiv zu nutzen.

#Werkzeuge zur Arbeit mit GTFS

Viele Forscher und Fachleute im Verkehrsbereich verwenden spezielle Werkzeuge, um mit GTFS-Daten zu arbeiten. Diese Tools helfen, die Daten zu validieren, zu analysieren und zu manipulieren. Zum Beispiel hilft das gtfs-segments-Paket, GTFS-Daten in Segmente zu organisieren und die Entfernungen zwischen Haltestellen zu berechnen. Ähnliche Pakete unterstützen bei der Routenanalyse und der Schätzung von Reisezeiten. Allerdings hat kein einzelnes Tool all die nötigen Funktionen, und Nutzer müssen oft verschiedene Pakete für verschiedene Aufgaben kombinieren.

#Die Rolle von grossen Sprachmodellen (LLMs)

Grosse Sprachmodelle (LLMs), wie ChatGPT, haben an Beliebtheit gewonnen, weil sie Informationen aus Texten verstehen und abrufen können. Sie können natürliche Sprachbefehle verarbeiten, was sie geeignet macht, um mit Daten wie GTFS zu arbeiten. LLMs haben in Bereichen wie juristischer Argumentation und medizinischen Anfragen grosses Potenzial gezeigt und bewiesen, dass sie in der Lage sind, komplexe Fragen zu verstehen und darauf zu antworten.

Trotz dieses Potenzials wurde die Nutzung von LLMs zur Analyse von GTFS-Daten noch nicht gründlich untersucht. Diese Forschung zielt darauf ab herauszufinden, ob LLMs GTFS verstehen und Informationen daraus basierend auf natürlichen Sprachbefehlen abrufen können.

#Ziele der Forschung

Diese Studie möchte mehrere Schlüsselfragen beantworten:

1. Kann ChatGPT GTFS-Daten verstehen?
2. Ist es möglich, Informationen aus GTFS-Dateien mit LLMs abzurufen?
3. Kann ChatGPT Code generieren, um bei der Informationsbeschaffung aus GTFS zu helfen?

Um diese Fragen zu beantworten, haben die Forscher eine Reihe von Multiple-Choice-Fragen basierend auf der GTFS-Dokumentation erstellt und Tests mit echten GTFS-Daten von der Chicago Transit Authority durchgeführt.

#Analyse des GTFS-Verstehens

Die Forscher haben über 180 Multiple-Choice-Fragen entworfen, um das Verständnis von GTFS unter LLMs zu bewerten. Sie haben diese Fragen in sechs Gruppen kategorisiert, die sich jeweils auf verschiedene Aspekte von GTFS konzentrieren.

Die Kategorien der Fragen umfassten:

• Begriffsdefinitionen: Verständnis wichtiger Begriffe, die in der GTFS-Dokumentation verwendet werden.
• Allgemeine Überlegungen: Grundkenntnisse über den Zweck und die Verwendung verschiedener GTFS-Dateien.
• Dateistruktur: Identifizierung, welche Dateien für GTFS erforderlich sind und ihre Beziehungen.
• Attributzuordnung: Wissen, welche Attribute zu bestimmten Dateien gehören.
• Datenstruktur: Verständnis einzigartiger Datentypen, die in GTFS verwendet werden.
• Kategorische Zuordnung: Erkennen der Bedeutung verschiedener kategorialer Werte in GTFS, wie z. B. Routenarten.

#Informationsabfrage aus GTFS

Nachdem das Verständnis bewertet wurde, testeten die Forscher auch die Fähigkeit von LLMs, Informationen aus GTFS-Dateien abzurufen. Sie haben zwei Arten von Fragen erstellt:

1. Einfache Fragen: Diese erforderten unkomplizierte Nachschläge innerhalb einer oder zweier Dateien.
2. Komplexe Fragen: Diese erforderten ein tieferes Verständnis und beinhalteten mehrere Dateien, um die benötigten Informationen abzurufen.

Die Forscher verwendeten sowohl Zero-Shot-Prompts als auch Programmsynthese, um zu sehen, wie gut das LLM diese Fragen beantworten konnte.

#Test des LLM

Der Ansatz bestand darin, ChatGPT die Fragen ohne vorherige Beispiele (Zero-Shot) beantworten zu lassen und es auch mit Aufforderungen zu testen, die ein Beispiel enthielten (Programmsynthese). Dieser Vergleich würde helfen, die Stärken und Schwächen jeder Methode hervorzuheben.

Sogar ohne Beispiele konnte ChatGPT bei vielen der Fragen zu GTFS ziemlich gut abschneiden. Die Gesamtgenauigkeit lag bei etwa 76,5 %, mit besonders starken Leistungen in Kategorien wie Allgemeine Überlegungen und Datenstruktur.

Allerdings hatte das Modell am meisten Schwierigkeiten mit der Kategorischen Zuordnung, bei der es oft die richtigen Attribute mit ihren zugehörigen Werten nicht zusammenbringen konnte.

#Effektivität der Programmsynthese

Bei der Informationsabfrage zeigten die Ergebnisse, dass die Programmsynthese effektiver war als Zero-Shot-Prompts. Die Genauigkeit für Programmsynthese lag bei etwa 67 %, im Vergleich zu 40 % für Zero-Shot-Antworten. Diese Verbesserung trat wahrscheinlich auf, weil die Programmsynthese einen logischen, schrittweisen Prozess fördert, der Fehler und Missverständnisse minimiert.

Zusammenfassend lässt sich sagen, dass während Zero-Shot-Prompts bei komplexen Problemen Schwierigkeiten hatten, die Programmsynthese klarere Wege zu Lösungen bot und den Denkprozess des Modells demonstrierte, was zu genaueren Ergebnissen führte.

#Vergleich der Konsistenz

Die Forscher bewerteten auch, wie konsistent die Antworten zwischen den beiden Methoden waren. Sie fanden heraus, dass die Ergebnisse stark variierten, insbesondere bei komplexen Fragen, wo die Konsistenz im Durchschnitt nur etwa 30 % betrug. Das deutete darauf hin, dass verschiedene Aufforderungstechniken sehr unterschiedliche Ergebnisse liefern konnten.

#Fazit

Diese Forschung bestätigte, dass LLMs, speziell ChatGPT, ein gutes Verständnis von GTFS-Daten haben, selbst ohne spezifischen Kontext. Die Studie wies darauf hin, dass das Modell in vielen Kategorien gut abschneidet, aber Schwierigkeiten mit kategorialen Zuordnungen und komplexen Datenstrukturen hat.

Der Zero-Shot-Ansatz war in der Informationsabfrage begrenzt. Im Gegensatz dazu zeigte die Programmsynthese eine bessere Leistung bei einfachen Abfragen und lieferte logischere Antworten, obwohl sie auch Herausforderungen bei komplexen Fragen hatte.

Insgesamt hebt diese Studie das Potenzial von LLMs hervor, GTFS-Daten zu verstehen, und deutet darauf hin, dass solch eine Technologie den Datenextraktionsprozess für Nutzer erleichtern könnte. Dieser Wandel könnte es mehr Fachleuten ermöglichen, einschliesslich derjenigen mit begrenzten Programmierkenntnissen, Verkehrsdaten effektiver zu analysieren.

In Zukunft betont die Forschung die Notwendigkeit, LLMs weiter zu erforschen und zu entwickeln, um sie in verschiedenen Kontexten, insbesondere in Bezug auf die spezifischen Bedürfnisse der Verkehrsdatenanalyse, leistungsfähiger zu machen. Open-Source-LLMs und zusätzliche Schulungsmethoden bieten vielversprechende Möglichkeiten zur Verbesserung ihrer Leistung in der Zukunft.

Zusammenfassend zeigt die Studie, wie LLMs beim Verständnis und der Nutzung komplexer Daten wie GTFS helfen können, was es verschiedenen Interessengruppen erleichtert, sich mit Informationen über öffentliche Verkehrsmittel auseinanderzusetzen und breitere Beiträge zur Verkehrsplanung und -analyse zu fördern.