Bewertung grosser Sprachmodelle in der Musikkreation

Grosse Sprachmodelle (LLMs) wie GPT-4 und Llama2 wurden kürzlich auch für Musik eingesetzt, ähnlich wie sie mit Text umgehen. Diese Studie untersucht, wie gut diese Modelle Musik verstehen und erzeugen können. Während sie beim Textgenerieren gut sind, ist ihre Fähigkeit, über Musik nachzudenken, nicht ganz so stark. Das ist wichtig, weil das Erstellen von Musik oft komplexes Denken erfordert, das über einfache Muster hinausgeht.

#Was sind grosse Sprachmodelle?

Grosse Sprachmodelle sind leistungsstarke Werkzeuge, die mit Deep Learning erstellt wurden. Sie werden mit einer Menge Textdaten trainiert, was ihnen hilft, menschenähnliche Antworten zu generieren. Diese Modelle können viele Aufgaben erledigen, wie Sprachen übersetzen, Gefühle analysieren, Fragen beantworten und Texte zusammenfassen. Sie sind bekannt dafür, komplizierte Sprachaufgaben zu bewältigen, was zeigt, dass sie bis zu einem gewissen Grad "überlegen" können.

#Musik und Denken

Musik kann in einer einfachen Form mit Symbolen dargestellt werden. Diese Darstellung macht es für LLMs einfacher, Musik zu verarbeiten und zu erzeugen. Das Denken in der Musik ist ähnlich wie in der Mathematik. Beide basieren auf Mustern. Musik nutzt Rhythmen und Noten, während die Mathematik Zahlen und Formen verwendet. Musiktheorie verwendet auch einige mathematische Konzepte, um Beziehungen zwischen Noten und Rhythmen zu erklären.

#Wie gehen LLMs mit Musik um?

LLMs können Musik, die in symbolischer Sprache wie MIDI und ABC-Notation geschrieben ist, analysieren. Sie können komplexe musikalische Muster aufschlüsseln und neue Musik basierend auf diesen Mustern erstellen. Diese Fähigkeit eröffnet neue Möglichkeiten für Musikgenerierungssysteme, bei denen Benutzerbefehle die Ausgabe des Modells steuern.

#Aufgaben zur Bewertung

In dieser Studie bewerten wir vier verschiedene LLMs: GPT-4, Gemma-7B-it, Llama2-7B-chat und Qwen-7B-chat. Wir schauen uns an, wie gut sie verschiedene Musikaufgaben bewältigen, wie zum Beispiel:

• Musikverständnis: Dazu gehören Aufgaben wie Musiktheorie-Übungen, Motiveextraktion und Analyse musikalischer Formen.
• Musikgenerierung: Dazu gehört das Erzeugen von Musik basierend auf bestimmten Akkorden, das Harmonisieren von Melodien und das Erstellen von Musik, die bestimmten Motiven und Formen folgt.

#Ergebnisse

Unsere Untersuchung zeigt, dass, obwohl LLMs ein gewisses Potenzial zeigen, sie bei komplexen Musiküberlegungen auf Song-Ebene Schwierigkeiten haben. Oft gelingt es ihnen nicht, das Gelernte über Musik anzuwenden, wenn sie mit anspruchsvollen Aufgaben konfrontiert werden. Zum Beispiel haben einige Modelle bei Aufgaben, in denen sie Musik nach bestimmten Vorgaben erstellen mussten, einfach die gegebenen Motive wiederholt, ohne etwas Neues hinzuzufügen. Andere beinhalteten die richtigen musikalischen Elemente, hielten sich aber nicht an die korrekte Struktur.

#Leistungsanalyse

Um zu analysieren, wie gut jedes Modell abgeschnitten hat, schauten wir uns sowohl quantitative als auch qualitative Ergebnisse an. Die quantitativen Ergebnisse beinhalteten den Erfolg der Modelle bei der Audioerzeugung aus ihren Antworten und die Genauigkeit bei Musiktheorie-Übungen. Die qualitativen Ergebnisse umfassten menschliche Bewertungen, wie gut die Modelle die Aufgabenstellungen einhielten.

In unseren Tests hatte GPT-4 die höchste Erfolgsquote bei der Generierung von Musik, die in Audio umgewandelt werden konnte. Dennoch erreichte es nicht die Standards, die von menschlichen Komponisten erwartet werden. Andere Modelle hatten noch niedrigere Erfolgsquoten und produzierten oft Ergebnisse, die nicht in Audio umgewandelt werden konnten.

#Verständnis von Aufgaben

Bei den Verständnis-Aufgaben fanden wir heraus, dass die verschiedenen Modelle unterschiedliche Verständnisebenen zeigten. Zum Beispiel:

• GPT-4 hat gut abgeschnitten, wenn es darum ging, Anweisungen zu befolgen und Musiktheorie zu verstehen.
• Andere Modelle hatten Schwierigkeiten, Fragen richtig zu beantworten, und zeigten Probleme beim Anwenden von Überlegungen.

Bei Aufgaben, die Denken erforderten, hatte selbst GPT-4 mit Herausforderungen zu kämpfen und machte manchmal Fehler, die sich negativ auf ihre Gesamtleistung auswirkten.

#Musik generieren

Als es darum ging, Musik zu generieren, zeigten die Modelle einen ähnlichen Trend:

• GPT-4 konnte Musik, die bestimmten Vorgaben folgte, besser generieren als die anderen.
• Dennoch hatten alle Modelle Probleme. Sie produzierten manchmal sich wiederholende Linien oder irrelevante Noten, die nicht zur Musikstruktur passten.

Es wurde deutlich, dass selbst wenn die Modelle dem ABC-Format folgten, sie oft die tiefergehenden Bedeutungen hinter den gegebenen Anweisungen nicht verstanden. Sie tendierten dazu, Vorgaben zu kopieren, anstatt wirklich originelle Musik zu schaffen.

#Identifizierte Herausforderungen

Durch diese Studie kamen mehrere Herausforderungen ans Licht:

1. Wissen über Musik: Den Modellen fehlte ausreichendes Wissen über Musik. Diese Lücke machte es ihnen schwer, komplexere und originelle Kompositionen zu erstellen.

2. Falsche Formate: Die meisten Modelle konnten Musik nicht im richtigen Format erzeugen. Sie "wussten" vielleicht, was ABC-Notation ist, konnten aber nicht konstant korrekte Sequenzen produzieren.

3. Schwierigkeiten mit komplexen Anweisungen: Anweisungen, die mehrere Schritte erforderten, verwirrten viele Modelle. Sie hatten oft Schwierigkeiten, alle Elemente für eine kohärente Musikproduktion im Blick zu behalten.

4. Fokus auf Muster: Während die Modelle Muster erkennen können, schaffen sie es nicht, Variationen oder hochwertige Kompositionen basierend auf diesen Mustern zu erstellen.

#Zukünftige Richtungen

Damit LLMs ihr Musikverständnis und ihre Musikgenerierungsfähigkeiten verbessern, sollten zukünftige Bemühungen sich auf Folgendes konzentrieren:

• Bereitstellung von mehr Fachwissen während des Trainings, um sicherzustellen, dass die Modelle gut mit der notwendigen Musiktheorie ausgestattet sind.

• Erstellung besserer Datensätze, die detaillierte und strukturierte Informationen über die Musikkomposition enthalten.

• Verbesserung der Art und Weise, wie Modelle angeregt werden, komplexe Aufgaben mit mehreren Schritten effizienter zu bewältigen.

#Fazit

Unsere Analyse zeigt, dass obwohl LLMs Fortschritte bei der Textgenerierung gemacht haben, ihre Fähigkeit, Musik zu verstehen und zu erstellen, noch begrenzt ist. Sie haben Schwierigkeiten mit dem Denken und der effektiven Anwendung von Musikkenntnissen. Diese Lücken zu schliessen, ist entscheidend, um die Erfahrung von Musikern, die mit diesen Modellen arbeiten, zu verbessern. Mit den richtigen Verbesserungen kann zukünftige Forschung zu Modellen führen, die die Nuancen der Musikproduktion wirklich erfassen, und somit wertvolle Werkzeuge für Komponisten und Musikliebhaber werden.