Vergleichende Studie von GPT-Architekturen in der Materialwissenschaft

Grosse Sprachmodelle (LLMs) sind in der künstlichen Intelligenz und anderen Bereichen echt populär geworden. Eines der bekanntesten Modelle ist der Generative Pre-trained Transformer (GPT). Verschiedene Versionen von GPT sind herausgekommen, die alle unter anderen Bedingungen trainiert wurden, was es schwer macht, sie direkt zu vergleichen. Diese Untersuchung schaut sich zwei beliebte Open-Source-Versionen von GPT ganz genau an: GPT-NeoX und LLaMA. Wir haben Frontier, den ersten Exascale-Supercomputer der Welt, genutzt, um ihre Leistung zu analysieren. Beide Modelle wurden mit demselben Satz an Materialienwissenschaftstexten trainiert, was es uns ermöglicht, zu bewerten, wie gut sie bei verschiedenen Aufgaben abschneiden.

#Wichtigkeit der Materialienwissenschaft

Materialwissenschaft spielt eine entscheidende Rolle im Alltag, wie zum Beispiel im Transport und bei der Energiespeicherung. Es geht darum, die aktuellen Materialien zu verstehen, um neue zu schaffen. Viele Sprachmodelle wurden entwickelt, um wissenschaftliche Literatur zur Materialienwissenschaft zu interpretieren, aber die meisten sind auf spezifische Aufgaben beschränkt und nicht breit einsetzbar. Wir wollen ein solides Grundmodell mit dem GPT-Framework aufbauen, das sowohl auf allgemeine Texte als auch auf spezifische wissenschaftliche Aufgaben angewendet werden kann.

#Aktuelle Landschaft der Sprachmodelle

Seit der Einführung der Transformer-Architektur haben sich die darauf basierenden Modelle stark verändert und die Landschaft der künstlichen Intelligenz beeinflusst. Zwei Hauptsprachmodelle sind BERT, das sich auf das Verstehen von Texten konzentriert, und GPT, das Texte generiert. GPT-Modelle haben gezeigt, dass sie besser abschneiden, je grösser sie sind und je mehr Daten sie haben, während die Leistung von BERT nicht auf die gleiche Weise skaliert hat. Viele Versionen von GPT wurden entwickelt, darunter GPT-1 bis GPT-4, GPT-NeoX und LLaMA, und noch viele mehr. Obwohl diese Modelle hohe Leistungen erzielt haben, hat sich die Forschung grösstenteils auf ihre Ergebnisse konzentriert, ohne zu erklären, warum bestimmte architektonische Entscheidungen getroffen wurden.

#Ein neuer Ansatz für die wissenschaftliche Forschung

Während LLMs immer wichtiger werden, entsteht in der KI ein neuer Ansatz für wissenschaftliche Bereiche. Dabei geht es darum, ein Grundmodell zu erstellen, das aus wissenschaftlichen Daten ohne Überwachung lernt. Sobald es trainiert ist, kann dieses Modell für verschiedene wissenschaftliche Aufgaben feinjustiert werden. Es wurden mehrere Versuche in verschiedenen Bereichen unternommen, aber unseres Wissens nach wurde kein Grundmodell speziell für Materialienwissenschaft erstellt.

#Untersuchung der GPT-Architekturen

Wir werden die beiden GPT-Varianten, GPT-NeoX und LLaMA, genau untersuchen und uns darauf konzentrieren, wie sie abschneiden, wenn sie gleich trainiert werden. Unsere Analyse umfasst die Zero- und Few-Shot-Leistung, also wie gut sie Fragen beantworten können, ohne explizite Schulung oder nur mit wenigen Beispielen. Ausserdem werden wir eine neue wissenschaftliche Aufgabe einführen, um ihre Fähigkeiten zu testen.

#Energieeffizienz beim Bau von LLMs

Der Bau von LLMs ist normalerweise sehr ressourcenintensiv und teuer. Es ist entscheidend, zu berechnen, wie gut diese Modelle Rechenleistung und Energie nutzen. Traditionell hat die Forschung zu LLMs stark auf NVIDIA-GPU-Plattformen gesetzt. In unserer Studie werden wir untersuchen, wie gut die Trainingsframeworks auf Frontier, das mit AMD-GPUs ausgestattet ist, abschneiden.

#Beiträge der Studie

Diese Forschung hat zu mehreren wichtigen Beiträgen geführt:

1. Wir haben zwei beliebte GPT-Architekturen, GPT-NeoX und LLaMA, verglichen und ihre Trainingsprozesse bewertet.
2. Wir haben ein Set von Grundmodellen speziell für Materialienwissenschaft vortrainiert und verfügbar gemacht, das MatGPT heisst.
3. Wir haben eine neue wissenschaftliche Aufgabe vorgeschlagen und eine Spitzenleistung bei einem wichtigen Benchmark in der Materialienwissenschaft erzielt.
4. Wir haben Basismetriken und praktische Ratschläge für den Bau von LLMs auf Plattformen mit AMD-GPUs aufgestellt.

Während unser Fokus auf Materialienwissenschaft liegt, können die Ansätze, die wir beschreiben, auch auf andere Bereiche angewendet werden.

#Hintergrund zu Sprachmodellen

Die Entwicklung von Sprachmodellen war seit 2018 rasant. Die Einführung der Transformer-Architektur im Jahr 2017 ebnete den Weg für verschiedene Modellarten. Zunächst waren Modelle, die sich auf das Verstehen von Texten konzentrierten, wie BERT, häufiger. Nach der Veröffentlichung von GPT-3 hat sich der Trend jedoch in Richtung Modelle verschoben, die Texte generieren können, was zu der Popularität der Decoder-Only-Modellarchitekturen geführt hat.

In der Materialienwissenschaft wurden Sprachmodelle angewendet, um bestehende Veröffentlichungen zu analysieren. Frühere Studien haben gezeigt, wie word2vec-Modelle für Empfehlungen von funktionalen Materialien verwendet werden können, aber diese Modelle sind in ihren Fähigkeiten begrenzt. Domänenspezifische Modelle wie MatSciBERT sind entstanden, haben jedoch immer noch Probleme mit der Generalisierung.

#Datenquellen für den Bau von MatGPT

Um MatGPT zu erstellen, haben wir Daten aus verschiedenen Quellen gesammelt, darunter CORE, Microsoft Academic Graph, Aminer und SCOPUS. Allein von SCOPUS haben wir Abstracts von etwa 6 Millionen Veröffentlichungen zur Materialienwissenschaft gesammelt. Nach einem Filterprozess mit einem feinabgestimmten Modell haben wir über 26 Millionen Abstracts und 300.000 Volltexte erhalten, was insgesamt etwa 15 Milliarden Tokens entspricht.

#Modellarchitekturentscheidungen

Wir haben MatGPT gebaut, indem wir GPT-NeoX und LLaMA als unsere Grundarchitekturen verwendet haben. Jedes Modell verwendet unterschiedliche Tokenisierungsmethoden: LLaMA nutzt den SentencePiece-Tokenizer, während GPT-NeoX den HuggingFace-Tokenizer verwendet. Beide nutzen rotierende Positions-Embedding für bessere Leistung. Wir haben die Modellspezifikationen, wie die Anzahl der Schichten und versteckten Grössen, sorgfältig ausgewählt, um eine optimale Rechenleistung zu gewährleisten.

#Trainingsansätze

Um die Modelle zu trainieren, haben wir eine gut strukturierte Pipeline genutzt, die ein effizientes Skalieren über die Architektur von Frontier ermöglichte. Wir haben einige Anpassungen an bestehenden Trainingsframeworks vorgenommen und fortschrittliche Optimierungstechniken integriert, die helfen, Verluste während der Trainingsphase zu minimieren.

Als wir uns mit der einzigartigen Architektur der AMD-GPUs auf Frontier vertraut machten, stellten wir fest, wie Elemente wie Flash Attention die Leistung erheblich beeinflussten. Diese Technik reduzierte die Komplexität der Berechnungen, sodass wir den Speicherverbrauch und die Trainingsgeschwindigkeit erheblich verbessern konnten.

#Wissenschaftliche Anwendung von Sprachmodellen

Eines unserer Hauptziele war es, die Effektivität von MatGPT bei der Vorhersage von Bandlücken-Eigenschaften von Materialien zu demonstrieren. Die Bandlücke ist entscheidend für die Bestimmung des elektrischen und optischen Verhaltens von Materialien. Die Vorhersagen unseres Modells basierten auf der Integration von Materialstruktur-Daten und LLM-Embeddings.

Wir haben umfassende Experimente zu dieser Aufgabe durchgeführt. Mit Daten aus verschiedenen Materialien konnten wir zeigen, wie die Integration von Embeddings aus MatGPT einen signifikanten Schub für bestehende Modelle auf der Basis von Graph Neural Networks (GNNs) gab.

#Ergebnisse und Vergleiche

In unseren Bewertungen beider Architekturen haben wir die Trainingsdurchsatz, Validierungsverluste und die Leistung bei verschiedenen Aufgaben verglichen. Die Ergebnisse deuteten darauf hin, dass beide Modelle allgemein ähnlich auf standardisierten Sprachbenchmarks abschnitten. Aber die LLaMA-Architektur zeigte in einigen Tests leichte Vorteile.

Darüber hinaus wurde die Energieeffizienz unserer Trainingsprozesse analysiert. Der Stromverbrauch beim Training wurde verfolgt und verglichen, wobei gezeigt wurde, dass obwohl die Anzahl der trainierten Modelle hoch war, der Energieverbrauch relativ handhabbar war.

#Zero-shot- und Few-shot-Leistung

Tests zur Zero-shot-Leistung zeigten, wie gut die Modelle Aufgaben ohne vorheriges Training bewältigen konnten. Unsere Ergebnisse deuteten darauf hin, dass LLaMA und GPT-NeoX in bestimmten Aufgaben geringfügige Unterschiede zeigten, die Gesamtleistung jedoch relativ ausgewogen war und die Datenqualität eine wichtige Rolle spielte.

Bei der Bewertung der Few-shot-Leistung haben wir festgestellt, dass das Hinzufügen von Beispielen die Genauigkeit in einigen Bereichen verbessern konnte. Beide Modelle schnitten jedoch generell gut unter Few-shot-Bedingungen ab, insbesondere bei Aufgaben, die logisches Denken und faktische Informationen erforderten.

#Feinabstimmung für spezifische Aufgaben

Über generische Aufgaben hinaus war die Feinabstimmung für wissenschaftliche Anwendungen ein Höhepunkt unserer Studie. MatGPT hat nicht nur bei Fragen-Antworten-Aufgaben hervorragend abgeschnitten, sondern war auch effektiv bei Regressionsaufgaben, die numerische Vorhersagen erfordern.

Die Ergebnisse bestätigten, dass Modelle, die auf einem grösseren Datensatz und mit einer höheren Anzahl von Parametern trainiert werden, bessere Ergebnisse bei prädiktiven Aufgaben liefern.

#Letzte Beobachtungen und Schlussfolgerungen

Unsere Forschung zeigt die wachsende Bedeutung von LLMs in der wissenschaftlichen Forschung und betont die Notwendigkeit klarer Methoden, wenn diese Modelle auf Hochleistungsrechnerplattformen eingesetzt werden. Diese Studie hebt die Fähigkeiten von zwei beliebten Architekturen hervor und bietet Einblicke, die anderen wissenschaftlichen Bereichen zugutekommen können.

Durch die Erstellung und Bereitstellung von MatGPT für die Materialienwissenschaft hoffen wir, weitere Entwicklungen in diesem Bereich zu fördern und sicherzustellen, dass wir die neuesten Fortschritte in der künstlichen Intelligenz für praktische Anwendungen nutzen.

#Danksagungen

Diese Arbeit wurde durch verschiedene Förderinitiativen unterstützt, um die erfolgreiche Entwicklung fortschrittlicher Sprachmodelle sicherzustellen. Unsere Ergebnisse tragen zu den laufenden Bemühungen bei, fortschrittliche Technologien in der wissenschaftlichen Forschung zu demokratisieren.