Eine neue Methode, um Musik-Stems zu finden

Hast du schon mal eine Melodie vor dich hin gepfiffen, aber kannst einfach nicht die richtige Musik dazu finden? Du bist nicht allein! In der Musikwelt ist es manchmal echt knifflig herauszufinden, welche Musikstücke gut zusammenpassen. In diesem Artikel geht's um einen coolen Weg, wie Musiker und Kreative die richtigen Musik-Stems finden können – wie Vocals, Drums oder Gitarrenparts, die zusammen grossartig klingen.

#Die Herausforderung beim Musikalischen Stem-Abruf

Musikalischer Stem-Abruf ist ein schickes Wort für die Aufgabe, bestimmte Teile eines Songs aus einem gemischten Track herauszupicken. Stell dir vor, du willst nur das Gitarrensolo aus einem Rocksong ziehen und den Rest der Instrumente dabei aussen vor lassen. Das ist die Herausforderung!

Früher konzentrierte sich das Abrufen von Musik mehr darauf, ganze Songs zu finden, um sie zusammenzumixen, anstatt diese einzelnen Elemente. Die ersten Methoden waren wie ein Blind Date mit Musik – manchmal passte es super, oft war es aber einfach nur awkward. Sie basierten auf Beats und Akkordmustern, was bedeutete, dass sie wichtige Aspekte wie den einzigartigen Klang jedes Instruments verpassten.

Das führte zu einem Bedürfnis nach etwas Besserem – etwas Intelligenterem, das die Vielfalt der Musik versteht und damit genauer arbeiten kann.

#Eine geniale Idee: Joint-Embedding Predictive Architectures

Hier kommen die Ritter in strahlender Rüstung: Joint-Embedding Predictive Architectures (JEPA). Dieser frische Ansatz beinhaltet das Trainieren von zwei Netzwerken – einem Encoder, der den gemischten Audio nimmt, und einem Predictor, der errät, wie die fehlenden Teile klingen sollten. Es ist wie einem Papagei das Sprechen beizubringen, indem man ihm Bilder von Früchten zeigt!

Das Coole daran? Der Predictor kann verschiedene Instrumente verstehen, also kannst du ihn nach einem “Gitarren”- oder “Drum”-Stem fragen. Diese Flexibilität ist ein echter Game-Changer, da die Benutzer jedes gewünschte Instrument eingeben können.

#Training für den Erfolg

Um sicherzustellen, dass dieses System funktioniert, bekommt der Encoder zusätzliches Training mit etwas, das man Kontrastives Lernen nennt. Denk daran wie an ein muskalisches Bootcamp, wo der Encoder lernt, was bestimmte Klänge gut zusammenpasst.

Durch die Nutzung von Datensätzen mit verschiedenen Musikstilen lernt das Modell, Muster und Ähnlichkeiten im Klang zu erkennen. Nach viel Training kann es Teile eines Songs mit überraschender Genauigkeit herausholen.

#Die Datensätze: MUSDB18 und MoisesDB

Um dieses Modell zu testen, braucht es ernsthafte Musikdatenbanken. Zwei Datenbanken, MUSDB18 und MoisesDB, bieten genau das. Die erste teilt Tracks in vier klare Teile: Bass, Drums, Vocals und alles andere. Die zweite ist ein bisschen komplexer, mit einer grösseren Vielfalt an Instrumenten und detaillierteren Informationen darüber.

Mit diesen beiden kann das Team sehen, wie gut das Modell spezifische Stems identifizieren kann und überprüfen, ob es mit verschiedenen Musikstilen umgehen kann.

#Abruffleistung: Wie gut funktioniert es?

Jetzt kommt der spassige Teil – wie gut hat dieses Modell abgeschnitten?

Mit den beiden Datenbanken haben die Leute hinter diesem Projekt die Leistung ihres Modells getestet, indem sie es gebeten haben, die fehlenden Stems basierend auf dem gemischten Audio zu finden. Sie verwendeten zwei Messsysteme, um zu sehen, wie erfolgreich es war: Sie prüften, wie oft es den richtigen Stem gefunden hat und wo der korrekte Stem im Vergleich zu anderen Optionen platziert war.

Die Ergebnisse waren vielversprechend. Das Modell zeigte signifikante Verbesserungen gegenüber früheren Methoden und ist damit ein nützliches Werkzeug im Bereich des Musikalischen Abrufs.

#Ein genauerer Blick auf die instrumentenspezifische Leistung

Aber nicht alle Instrumente sind gleich! Einige Instrumente bekommen während des Trainings mehr Aufmerksamkeit, während andere im Schatten bleiben. Das Modell war besser darin, gängige Instrumente wie Vocals und Gitarren zu finden, und hatte ein bisschen Schwierigkeiten mit weniger gängigen Typen wie der Banjo oder Flöten.

Das bringt uns zu einer weiteren wichtigen Lektion: Während eine grosse Menge an Trainingsdaten grossartig ist, ist eine ausgewogene Vielfalt ebenfalls entscheidend. Wenn das Modell viel von einer Sache, aber wenig von einer anderen sieht, wird es nicht gut abschneiden, wenn es auf diesen seltenen Klang trifft.

#Die Bedeutung der Konditionierung

Eine interessante Eigenschaft dieses Ansatzes ist etwas, das man Konditionierung nennt. Es ermöglicht dem Modell, ein Verständnis für das Instrument zu entwickeln, das es finden soll. Denk daran wie an eine spezielle Sonnenbrille, die dem Modell hilft, den Typ Klang zu sehen, den es suchen soll.

Ursprünglich war das Konditionierungssystem ein bisschen starr und erlaubte nur ein paar feste Instrumentenoptionen. Aber durch mehr Flexibilität und moderne Techniken kann das Modell mit jedem Instrument arbeiten, indem es freie Texteingaben verwendet.

#Beat Tracking: Auf der Suche nach dem Rhythmus

Aber musikalischer Stem-Abruf geht nicht nur darum, einzelne Instrumententeile zu finden. Es ist auch wichtig, den Beat zu halten!

Die Embeddings des Modells (diese schicken Ausgabestücke vom Encoder) können ebenfalls auf ihre Fähigkeit getestet werden, Beats in Musik zu verfolgen, was wie das Finden des Pulses in einem Song ist. Das Modell hat ziemlich gut abgeschnitten und gezeigt, dass es sowohl die Details von tonalen Übereinstimmungen als auch die breiteren Strichrichtungen des Rhythmus bewältigen kann.

#Fazit: Ein Game Changer für Musiker

Zusammenfassend lässt sich sagen, dass diese neue Methode zum musikalischen Stem-Abruf einen besseren Weg aufzeigt, die perfekten Klangübereinstimmungen in der Musik zu finden. Mit einem spielerischen Geist lernt das Modell aus der Essenz der Musik und erfasst sowohl die einzigartigen Qualitäten jedes Klanges als auch den Rhythmus, der sie verbindet.

Egal, ob du nach dem idealen Gitarrenriff suchst, um deinen Vocal-Track zu begleiten, oder mit einem vollen Mix experimentierst, dieser Ansatz öffnet Türen zu einer intuitiveren Art, mit Musik zu interagieren.

Also, das nächste Mal, wenn du auf der Suche nach dem perfekten musikalischen Teil bist, denk dran, dass da draussen ein cleveres kleines Modell bereit ist, dir zu helfen, genau den richtigen Klang zu finden. Also leg los und mix es!