Die steigenden Kosten für das Training von KI-Modellen

In den letzten Jahren sind die Kosten für das Training von fortgeschrittenen KI-Modellen deutlich gestiegen. Trotz dieses Trends gibt es nicht viele öffentliche Daten darüber, wie hoch diese Kosten mittlerweile sind oder wie schnell sie steigen. Dieser Artikel will diese Lücke schliessen, indem er die Trainingkosten aus verschiedenen Perspektiven betrachtet, einschliesslich Hardware, Energie, Cloud-Nutzung und Gehälter des Personals.

#Bedeutung der Trainingkosten

Das Training fortgeschrittener KI-Modelle erfordert eine Menge Rechenleistung, was wiederum hohe finanzielle Investitionen erfordert. Die Kosten für die Entwicklung dieser Modelle umfassen normalerweise drei Hauptbereiche: den Kauf von Hardware, die während des Trainings verbrauchte Energie und die Gehälter des beteiligten Personals. Da sich KI weiterentwickelt, wird erwartet, dass diese Kosten steigen, was es für kleinere Organisationen schwieriger macht, mithalten zu können.

#Wichtige Erkenntnisse

Jüngste Analysen zeigen, dass die Kosten für das Training der anspruchsvollsten KI-Modelle seit 2016 stark gestiegen sind, und zwar mit einer Rate von mehr als dem Doppelten pro Jahr. Zum Beispiel haben bekannte Modelle wie GPT-4 und Gemini kostspielige Komponenten, hauptsächlich aufgrund der Kosten für KI-Chips und die Gehälter der Teams, die sie entwickeln. Jede dieser Ausgaben kann leicht in die Zehntausende von Millionen Dollar gehen.

In einigen Fällen können die Kosten folgendermassen aufgeschlüsselt werden:

• KI-Beschleuniger-Chips: Ein erheblicher Teil der Kosten stammt von spezialisierten Chips, die speziell für KI-Aufgaben entwickelt wurden.
• Gehälter des Personals: Die Kosten des Teams, einschliesslich Gehälter und angebotene Anteile, können ebenfalls einen grossen Teil des Budgets ausmachen.
• Serverkomponenten: Ein kleinerer Teil der Ausgaben wird mit verschiedenen Serverteilen und Energiekosten in Verbindung gebracht.

Der alarmierende Trend zeigt, dass, wenn das derzeitige Kostenwachstum anhält, einige der grössten Trainingsprojekte bis 2027 die Milliardengrenze überschreiten könnten. Das deutet darauf hin, dass nur grosse, gut finanzierte Unternehmen in der Lage sein werden, diese fortschrittlichen KI-Entwicklungen zu unterstützen.

#Öffentliche Daten zu den Trainingkosten

Bis vor kurzem waren spezifische Schätzungen der Trainingkosten selten. Eine Zusammenarbeit mit einer anderen Forschungsgruppe hat jedoch umfangreiche Informationen ans Tageslicht gebracht, aus denen Kostenschätzungen abgeleitet wurden, wobei der Schwerpunkt hauptsächlich auf den Preisen für Cloud-Mieten lag. Diese neuen Daten ermöglichen eine tiefere Analyse der Kosten und bieten wesentliche Einblicke, wie diese Ausgaben im Laufe der Zeit explodiert sind.

Mit Hilfe von Interviews mit Branchenexperten und einer detaillierten Datenbank von maschinellen Lernmodellen konnten die Forscher die Kosten in drei Hauptansätze aufschlüsseln:

1. Amortisierte Hardwarekosten: Dabei wird geschätzt, wie viel von den Gesamthardwarekosten über die Nutzungsdauer des Geräts verteilt wird.

2. Cloud-Mietpreise: Dieser Ansatz schaut sich historische Mietpreise für Cloud-Computing-Ressourcen an und findet einen Durchschnittspreis basierend auf diesen Preisen.

3. Gesamte Entwicklungskosten: Hier werden nicht nur die Trainingskosten, sondern auch alle Forschungs- und Entwicklungsarbeiten berücksichtigt, die in die Schaffung eines Modells fliessen.

#Ein genauerer Blick auf die Kosten

#Amortisierte Hardwarekosten

Der erste Ansatz konzentriert sich darauf, die gesamten Hardwarekosten über die Nutzungsdauer zu berechnen. Diese Methode schätzt die Kosten, indem sie sich spezialisierte KI-Chips, Serverhardware, Benutzer-Netzwerkgeräte und den Energieverbrauch anschaut. Es stellt sich heraus, dass die grössten Investitionen normalerweise in Chips fliessen, die für KI-Berechnungen gebaut sind, wobei laufende Wartung und Updates ebenfalls zur Gesamtrechnung beitragen.

Beispielsweise zeigen aktuelle Kostenschätzungen, dass das GPT-4-Modell von OpenAI zu den teuersten gehörte und rund 40 Millionen Dollar gekostet hat. Ein weiteres Modell von Google, Gemini Ultra, hat ebenfalls hohe Kosten von etwa 30 Millionen Dollar angehäuft. Es ist wichtig zu beachten, dass die Kosten für das Training steigen, je komplexer die KI-Modelle werden.

#Cloud-Mietpreise

Die zweite Methode nutzt die Cloud-Mietpreise zur Messung der Trainingkosten. Anstatt einzelne Hardwarekosten aufzuschlüsseln, verwendet dieser Ansatz historische Mietpreise für Cloud-Computing-Ressourcen, um zu schätzen, wie viel es kosten könnte, bestimmte Modelle zu trainieren. Interessanterweise zeigt diese Methode oft höhere Durchschnittskosten im Vergleich zu traditionellen Hardware-Schätzmethoden, da Organisationen, die KI-Modelle entwickeln, häufig Mietverträge sichern, die nicht öffentlich verfügbar sind.

Während die Verwendung von Cloud-Preisen einfacher sein kann, kann das auch zu überhöhten Schätzungen führen, insbesondere in Fällen, in denen Organisationen ihre Hardware besitzen. Dennoch kann die Abwägung beider Ansätze helfen, die allgemeinen Trends im Kostenwachstum zu validieren und die Unsicherheit individueller Ausgaben zu beleuchten.

#Gesamte Modellentwicklungskosten

Die dritte Methode kombiniert die geschätzten Kosten für das Training mit allen Forschungs- und Entwicklungsanstrengungen, die in die Schaffung eines Modells einfliessen. Durch die Einbeziehung sowohl der zu erwartenden Trainingskosten als auch der Vorarbeiten bietet dieser Ansatz einen breiteren Blick auf die finanziellen Anforderungen zur Entwicklung eines bedeutenden KI-Modells.

Für einige der bekanntesten Modelle zeigt diese geschätzte Aufschlüsselung, dass Gehälter und Vergütungen für Forschungs- und Entwicklungspersonal oft einen wesentlichen Teil der Gesamtkosten ausmachen – von 29 % bis 49 % der Gesamtausgaben. Die Ausgaben für Computerhardware nehmen einen weiteren grossen Teil ein, während die Energiekosten am unteren Ende des Spektrums bleiben.

#Die Aufschlüsselung der Kosten

Wenn man die einzelnen Ausgaben in Verbindung mit dem Training von KI-Modellen betrachtet, gibt es einige auffällige Komponenten, die konstant als Hauptbeiträge auftauchen:

1. KI-Beschleuniger-Chips: Diese spezialisierten Chips, die für bestimmte KI-Aufgaben entwickelt wurden, machen normalerweise einen erheblichen Teil der Gesamtausgaben aus.

2. Serverhardware: Allgemeine Serverkosten, einschliesslich CPUs und Speicher, kommen als Nächstes und machen einen beträchtlichen Teil des Budgets aus.

3. Energieverbrauch: Obwohl die Kosten für den Energieverbrauch im Vergleich zu den Hardwarekosten relativ gering sind, sind sie dennoch ein wichtiger Faktor und werden voraussichtlich mit der steigenden Nachfrage nach Rechenleistung wachsen.

#Ausblick auf die Kosten

Basierend auf den aktuellen Trends ist nicht zu erwarten, dass die Trainingkosten für hochrangige KI-Projekte langsamer werden. Da die Anforderungen an die Rechenleistung steigen, wird es immer schwieriger, genügend Energie und Ressourcen zu sichern, um fortschrittliche Modelle zu betreiben. Diese wachsende finanzielle Barriere könnte den Zugang zur fortgeschrittenen KI-Entwicklung auf die grössten Unternehmen oder staatlichen Institutionen beschränken.

Die zusammenfallenden Kosten für Gesundheit, Bildung, Umwelt und Industrie könnten zu erheblichen Fortschritten in diesen Bereichen führen, aber nur für die Organisationen, die sich das leisten können. Das aktuelle finanzielle Umfeld deutet darauf hin, dass kleinere Firmen Schwierigkeiten haben könnten, mitzuhalten, was Bedenken hinsichtlich Innovation und Zugänglichkeit im KI-Bereich aufwirft.

#Auswirkungen auf die Branche

Da die Schulungsausgaben weiter steigen, könnten die Folgen für die KI-Entwicklung erheblich sein. Mit nur wenigen Schlüsselfiguren, die mit der notwendigen Finanzierung arbeiten können, gibt es Bedenken hinsichtlich der Vielfalt des Denkens und der Innovation, die in diesem sich schnell entwickelnden Bereich verfügbar sind.

Darüber hinaus vertieft die Tatsache, dass dieses Niveau an Investitionen zu erheblichen Fortschritten in den KI-Fähigkeiten führen könnte, die Kluft zwischen grösseren Akteuren und kleineren Einheiten. Das wirft wichtige Fragen zur Governance, zur Ethik der KI-Technologie und dazu auf, wie die Vorteile der Fortschritte in der Gesellschaft verteilt werden.

#Fazit

Zusammenfassend lässt sich sagen, dass der dramatische Anstieg der Trainingkosten für fortgeschrittene KI-Modelle sowohl Herausforderungen als auch Chancen mit sich bringt. Während wir den rasanten Anstieg der Ausgaben beobachten, muss die Branche Themen wie Zugang, Gleichheit und den verantwortungsvollen Umgang mit der Technologie angehen. Künftige Innovationen könnten eine Zusammenarbeit zwischen grossen Organisationen, kleineren Firmen und Aufsichtsbehörden erfordern, um das verantwortungsvolle Wachstum der KI-Entwicklung zu gewährleisten.

Der Verlauf der KI zeigt keine Anzeichen einer Verlangsamung, und während die Kosten steigen, könnten die heute getroffenen Entscheidungen die Landschaft der Technologie über Jahre hinweg prägen. Die Zukunft der KI-Entwicklung könnte stark davon abhängen, wie gut wir Ressourcen verwalten, Zusammenarbeit fördern und sicherstellen, dass Innovation inklusiv und nicht exklusiv ist.