Simple Science

Hochmoderne Wissenschaft einfach erklärt

# Elektrotechnik und Systemtechnik# Ton# Künstliche Intelligenz# Audio- und Sprachverarbeitung

Notochord: Ein neues MIDI-Tool für Musiker

Notochord verbessert die Echtzeit-MIDI-Musikproduktion mit KI für reichhaltigere Performances.

― 6 min Lesedauer


Notochord: KI in MusikNotochord: KI in Musikrevolutionieren.kreieren und auftreten,Die Art und Weise, wie Musiker mit KI
Inhaltsverzeichnis

Notochord ist ein neues Tool, das für die Arbeit mit MIDI-Musik entwickelt wurde. MIDI steht für Musical Instrument Digital Interface, ein Standard, der es elektronischen Musikinstrumenten ermöglicht, miteinander zu kommunizieren. Notochord nutzt fortschrittliche Computertechniken, um Musikern zu helfen, Musik in Echtzeit zu erstellen. Das bedeutet, dass es schnell auf das reagiert, was ein Musiker spielt, und es sich mehr wie ein traditionelles Instrument anfühlt. Das Ziel von Notochord ist es, Musikern das Ausprobieren neuer Wege der Musikproduktion durch künstliche Intelligenz (KI) zu erleichtern.

Echtzeit-Performance

Ein wichtiges Feature von Notochord ist die Fähigkeit, in einer Performance-Umgebung zu arbeiten. Die meisten KI-Musiktools haben Verzögerungen, die für Musiker frustrierend sein können. Sie könnten zu lange brauchen, um zu reagieren, was es einem Performer schwer macht, sich mit der Musik verbunden zu fühlen. Notochord löst dieses Problem, indem es Eingangs-Signale in weniger als zehn Millisekunden verarbeitet. Das bedeutet, dass Notochord schnell ergänzende Noten oder Rhythmen generieren kann, wenn ein Musiker eine Note spielt. Diese schnelle Reaktion hilft dem Musiker, sich so zu fühlen, als würde er ein echtes Instrument spielen, anstatt mit einer Maschine zu interagieren.

Das Design von Notochord

Notochord basiert auf einem tiefen Lernmodell, was bedeutet, dass es aus grossen Musikdatenmengen lernt. Es wurde mit einer Sammlung von MIDI-Dateien trainiert, die eine breite Vielfalt an Musikstilen und -strukturen enthalten. Dieses vielfältige Training hilft Notochord, Musik zu erstellen, die sich reich und komplex anfühlt. Das Modell kann verschiedene musikalische Aufgaben bewältigen, wie das Generieren neuer Melodien, das Harmonisieren bestehender und sogar das Improvisieren neben einem Live-Performer.

Notochord erlaubt es Musikern, in den Musikproduktionsprozess einzugreifen. Zum Beispiel kann ein Musiker bestimmte Merkmale für die Noten angeben, die Notochord generiert. Sie könnten sagen, dass sie wollen, dass die nächste Note eine bestimmte Tonhöhe hat oder auf einem bestimmten Instrument gespielt wird. Das gibt Musikern mehr Kontrolle über ihren Klang, während sie gleichzeitig von der Kreativität profitieren, die Notochord bietet.

Die technische Seite von Notochord

Im Kern verwendet Notochord eine einzigartige Art der Darstellung musikalischer Ereignisse. Es zerlegt MIDI-Noten in kleinere Teile, was ein detaillierteres Verständnis der Musik ermöglicht. Jede Note kann mehrere wichtige Informationen enthalten, wie ihre Tonhöhe, Timing, Anschlagsstärke und das Instrument, das sie spielt. Durch diese Strukturierung der Informationen kann Notochord besser vorhersagen und Musik generieren, basierend auf dem, was bereits gespielt wurde.

Wenn Notochord ein musikalisches Signal erhält, verarbeitet es das schnell und generiert neue Noten. Es tut dies, indem es sich die vorherigen Ereignisse ansieht und vorhersagt, was als nächstes sinnvoll wäre. Dieser autoregressive Ansatz ermöglicht es Notochord, einen fliessenden und kohärenten musikalischen Output zu erzeugen.

Die Funktionen von Notochord

Notochord kann mehrere wichtige Funktionen in musikalischen Umgebungen ausführen:

Steuerbare Generierung

Mit der steuerbaren Generierung können Musiker die Musik, die Notochord erstellt, lenken. Wenn ein Performer zum Beispiel einen bestimmten Stil oder eine Stimmung möchte, kann er die Parameter anpassen, die steuern, wie Notochord Noten generiert. Das könnte beinhalten, bestimmte Instrumente auszuwählen, die in einem Stück hervorgehoben werden sollen, oder ein bestimmtes Tempo festzulegen. Durch diesen Steuerungsprozess können Musiker die Musik in Echtzeit gestalten, was das Erlebnis interaktiver macht.

Auto-Tonhöhe und Harmonisierung

Notochord kann Musikern auch bei der Tonhöhenauswahl und Harmonisierung helfen. Wenn ein Musiker eine Melodie spielt, aber möchte, dass Notochord eine Harmonie generiert, kann er seine Noten eingeben und die harmonisierenden Töne Notochord überlassen. Das ermöglicht ein kollaboratives Musikerlebnis. Der Musiker liefert die Grundlage, und Notochord ergänzt die Harmonien, was einen reicheren Klang erzeugt, ohne dass der Musiker alles auf einmal spielen muss.

Live-Coding

Eine weitere spannende Anwendung von Notochord ist die Kompatibilität mit Live-Coding-Umgebungen. Live-Coding ermöglicht es Musikern, Musik in Echtzeit mit Programmiersprachen zu erstellen und zu modifizieren. Durch die Integration von Notochord in diese Umgebungen können Musiker dessen Fähigkeiten nutzen, um ihre Live-Performances zu verbessern. Sie können Rhythmen, Tonhöhen und Instrumente spezifizieren, sodass Notochord dynamisch auf ihre Codierung reagiert.

Maschinenimprovisation

Notochord kann auch als improvisatorischer Partner für Musiker dienen. Indem sie bestimmte Instrumente für Live-Spieler reservieren und Notochord daran hindern, diese Instrumente auszuwählen, können Musiker einen Raum schaffen, in dem Notochord ihr Spiel ergänzt. Immer wenn ein Musiker spielt, wird Notochord mit neuen Noten reagieren und einen spannenden Dialog zwischen dem Performer und der KI erzeugen.

Wahrscheinlichkeitsbasierte Interfaces

Eine weitere interessante Funktion ist das wahrscheinlichkeitsbasierte Interface. Anstatt Noten basierend auf ihren üblichen Positionen auf einer Tastatur auszuwählen, können Musiker Noten basierend auf den Vorhersagen von Notochord wählen. Das bedeutet, sie könnten Töne auswählen, die mit höherer Wahrscheinlichkeit zum aktuellen Kontext passen, und so einen anderen Ansatz zum Musizieren entwickeln. Das fügt eine strategische Ebene zur Performance hinzu, bei der Musiker informierte Entscheidungen treffen können, basierend darauf, was Notochord denkt, was am besten funktioniert.

Die Vorteile von Notochord

Notochord bietet mehrere Vorteile für Musiker, die mit KI in der Musikproduktion experimentieren möchten:

  1. Schnelles Feedback: Die geringe Latenz von Notochord lässt es sich mehr wie ein traditionelles Instrument anfühlen und ermöglicht ein nahtloses Performerlebnis.

  2. Kreative Eingriffe: Musiker können Details über die Musik, die erstellt wird, angeben, wodurch sie Kontrolle über das Endergebnis haben.

  3. Kollaboratives Musizieren: Durch die Zusammenarbeit mit Notochord können Musiker komplexere Kompositionen erstellen, ohne ihren individuellen Spielstil zu verlieren.

  4. Flexibilität: Musiker können Notochord in verschiedenen Umgebungen nutzen, von Live-Performances bis hin zur Studioarbeit, was es zu einem vielseitigen Werkzeug macht.

  5. Innovative Interfaces: Die Fähigkeit, auf neue Arten mit Musik zu interagieren, eröffnet Möglichkeiten für einzigartige Klänge und kreative Ausdrucksformen.

Zukünftige Perspektiven

Während sich die Technologie weiterentwickelt, wird sich auch Notochord weiterentwickeln. Zukünftige Entwicklungen könnten umfassen, die Fähigkeiten von Notochord zu erweitern, um mit Nicht-MIDI-Daten zu arbeiten, sodass es mit einer breiteren Palette von musikalischen Kontexten interagieren kann. Ausserdem hoffen Forscher, die Architektur von Notochord zu verfeinern, um seine Reaktionsfähigkeit und Flexibilität weiter zu verbessern.

Die Integration von performancespezifischen Datensätzen in Notochord könnte seine Fähigkeit erweitern, Live-Musik-Szenarien zu bewältigen. Das würde noch reichere Interaktionen ermöglichen und Live-Performances mit KI kohärenter und natürlicher machen.

Fazit

Notochord stellt einen bedeutenden Fortschritt im Bereich der KI-Musikproduktion dar. Indem es schnelle Reaktionsfähigkeit mit der Möglichkeit, spezifische musikalische Eingriffe vorzunehmen, kombiniert, bietet Notochord Musikern ein leistungsstarkes Werkzeug für Performance und Komposition. Es wird spannend sein zu sehen, wie sich die Technologie weiterentwickelt und wie sie die Zukunft der Musikproduktion und die Zusammenarbeit zwischen menschlicher Kreativität und künstlicher Intelligenz prägen wird.

Originalquelle

Titel: Notochord: a Flexible Probabilistic Model for Real-Time MIDI Performance

Zusammenfassung: Deep learning-based probabilistic models of musical data are producing increasingly realistic results and promise to enter creative workflows of many kinds. Yet they have been little-studied in a performance setting, where the results of user actions typically ought to feel instantaneous. To enable such study, we designed Notochord, a deep probabilistic model for sequences of structured events, and trained an instance of it on the Lakh MIDI dataset. Our probabilistic formulation allows interpretable interventions at a sub-event level, which enables one model to act as a backbone for diverse interactive musical functions including steerable generation, harmonization, machine improvisation, and likelihood-based interfaces. Notochord can generate polyphonic and multi-track MIDI, and respond to inputs with latency below ten milliseconds. Training code, model checkpoints and interactive examples are provided as open source software.

Autoren: Victor Shepardson, Jack Armitage, Thor Magnusson

Letzte Aktualisierung: 2024-03-18 00:00:00

Sprache: English

Quell-URL: https://arxiv.org/abs/2403.12000

Quell-PDF: https://arxiv.org/pdf/2403.12000

Lizenz: https://creativecommons.org/licenses/by-sa/4.0/

Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.

Vielen Dank an arxiv für die Nutzung seiner Open-Access-Interoperabilität.

Mehr von den Autoren

Ähnliche Artikel