Einführung des SynChart-Datensatzes für das Verstehen von Diagrammen

In den letzten Jahren hat die Verwendung von Sprachmodellen, besonders den neuesten Versionen, echt viel Aufmerksamkeit bekommen. Diese Modelle können helfen, Labels und Daten für Aufgaben zu erstellen, die mehr als eine Art von Informationen beinhalten, wie zum Beispiel bei Charts. Allerdings ist noch unklar, wie man aus einfachen Sprachmodellen fortgeschrittene Modelle erstellen kann. In diesem Artikel geht's um die Erstellung eines umfassenden Datensatzes, der sich auf das Verständnis von Charts konzentriert und wie dieser Datensatz helfen kann, wettbewerbsfähige Modelle zu trainieren.

#Erstellung des SynChart-Datensatzes

Um ein Modell zu trainieren, das Charts gut versteht, brauchen wir einen grossen und vielfältigen Datensatz. Dieser Datensatz, genannt SynChart, enthält etwa 4 Millionen verschiedene Chartbilder und über 75 Millionen detaillierte Labels. Die Labels geben Infos wie Datentabellen, Code, Beschreibungen und Frage-Antwort-Paare, die mit jedem Chart verknüpft sind.

#Der Prozess der Datensatz-Erstellung

Die Erstellung dieses Datensatzes umfasste mehrere Schritte:

1. Identifizierung der Chart-Typen: Verschiedene Charts haben unterschiedliche Zwecke. Unser erster Schritt war herauszufinden, welche Charttypen am häufigsten vorkommen. Wir haben uns verschiedene bestehende Datensätze angeschaut und die Bilder gelabelt. So konnten wir uns auf die beliebtesten Charttypen konzentrieren.

2. Generierung von Datentabellen: Nachdem wir die Charttypen identifiziert hatten, haben wir vielfältige Datentabellen erstellt, die realen Szenarien ähneln. Das wurde gemacht, um sicherzustellen, dass die Daten relevant und nützlich sind.

3. Erstellung von Chartbildern: Nachdem wir die Datentabellen erstellt hatten, mussten wir die eigentlichen Charts erstellen. Wir haben verschiedene Coding-Tools verwendet, die fürs Zeichnen von Charts gedacht sind, und wir haben Code entwickelt, um die Chartbilder zu produzieren. In diesem Schritt haben wir auch alle Fehler im Code korrigiert, damit die Charts richtig angezeigt wurden.

4. Erstellung von Fragen und Antworten: Schliesslich haben wir für jedes Chart eine Reihe von Fragen und Antworten generiert. Manche Fragen waren einfach und brauchten kurze Antworten, während andere tiefere Überlegungen erforderten.

#Training des Modells

Nachdem wir den Datensatz hatten, haben wir ein spezielles Modell trainiert, das mit Charts arbeitet. Dieses Modell kombiniert zwei Hauptkomponenten:

• Ein grosses Sprachmodell, das beim Verstehen und Generieren von Text und Code hilft.
• Ein Vision-Encoder, der die Chartbilder verarbeitet.

Wir haben das Training in zwei Phasen durchgeführt: Pretraining und Post-Training. Beim Pretraining haben wir die anfänglichen Annotationen verwendet, die Datentabellen und Beschreibungen enthielten. In der Post-Training-Phase konzentrierten wir uns darauf, die vorher generierten Fragen und Antworten zu nutzen.

#Ergebnisse und Leistung

Das mit dem SynChart-Datensatz trainierte Modell hat bei Tests, die darauf ausgelegt waren, seine Fähigkeiten im Chartverständnis zu bewerten, aussergewöhnlich gut abgeschnitten und fast die Leistung eines der besten bestehenden Modelle erreicht. Diese Leistung zeigt, dass unser Datensatz effektiv ist, um Modelle in diesem Bereich zu trainieren.

Wir haben mehrere Tests durchgeführt, um zu analysieren, wie die verschiedenen Komponenten des Datensatzes zum Erfolg des Modells beigetragen haben. Die Ergebnisse zeigten, dass die Qualität und Vielfalt der Daten eine wichtige Rolle bei der Verbesserung der Modellleistung spielen.

#Herausforderungen und Lösungen

Der Aufbau dieses Datensatzes war nicht ohne Herausforderungen. Wir mussten Probleme wie die Sammlung einer vielfältigen Palette von Chartbildern und die Beschaffung hochwertiger Labels angehen. So haben wir diese Herausforderungen gemeistert:

• Datenvielfalt: Wir mussten sicherstellen, dass der Datensatz verschiedene Charttypen abdeckte. Indem wir aus mehreren Quellen schöpften und auch Tools zur Synthese neuer Charts verwendeten, haben wir eine angemessene Vielfalt erreicht.

• Label-Qualität: Es war entscheidend, hochwertige Labels zu jedem Chartbild zu haben. Wir haben einen gründlichen Überprüfungsprozess implementiert, um die Genauigkeit der Labels zu überprüfen und wo nötig zu verbessern.

#Fazit

Die Entwicklung des SynChart-Datensatzes ist ein wichtiger Schritt zur Verbesserung unserer Fähigkeit, Modelle zu erstellen und zu trainieren, die Chartdaten verstehen. Durch die Synthese von Daten aus Sprachmodellen haben wir einen gross angelegten Datensatz erstellt, der nicht nur die Bedürfnisse fürs Training erfüllt, sondern auch die Tür für weitere Forschung und Fortschritte in diesem Bereich öffnet.

Für die Zukunft planen wir, den Datensatz zu erweitern, indem wir mehr Charttypen einbeziehen und die Bilder besser filtern, um die Gesamtqualität zu verbessern. Das wird helfen, noch fähigere Modelle zu erstellen, die in verschiedenen Anwendungen zur Datenvisualisierung und -analyse eingesetzt werden können.

Indem wir uns auf praktische Anwendungen und kontinuierliche Verfeinerung konzentrieren, hoffen wir, weiterhin zur Entwicklung im Bereich Machine Learning und Datenwissenschaft beizutragen.