Videoanrufe mit prädiktiver Kodierung verbessern

Videoanrufe und Konferenzen sind jetzt ein grosser Teil unseres Alltags. Damit diese Anrufe gut funktionieren, müssen wir Videodaten schnell und effizient übertragen. Eine Möglichkeit, das zu tun, ist die Videokompression, die Videos kleiner macht, ohne zu viel Qualität zu verlieren. Das ist besonders wichtig, wenn man mit begrenzter Internetbandbreite zu tun hat.

Eine Methode der Videokompression konzentriert sich auf Animation, besonders wenn Menschen beim Sprechen gefilmt werden. Dabei wird ein Satz von Punkten verwendet, die die Gesichtsausdrücke einer Person darstellen. Diese Punkte nennt man Keypoints, und sie ermöglichen es uns, die Videoframes zu rekonstruieren, ohne eine Menge Daten zu senden. Allerdings senden die traditionellen Methoden, die diesen Ansatz verwenden, jedes Frame separat, was Bandbreite verschwendet und die Videoqualität einschränkt, wenn mehr Daten verfügbar sind.

#Das Problem mit den aktuellen Methoden

Obwohl die animierungsbasierten Methoden helfen, Videos auf sehr niedrige Bitraten zu komprimieren, haben sie immer noch einige Probleme. Wenn mehr Bandbreite verfügbar ist, verbessert sich die Videoqualität nicht viel, und ältere Standards wie HEVC und VVC schneiden in solchen Situationen besser ab. Ausserdem ist es schwierig, die Bitrate mit den aktuellen animierungsbasierten Methoden zu verwalten, was es kompliziert macht, die Qualität nach Bedarf anzupassen. Letztlich nutzt die Verarbeitung von Video Frame für Frame nicht die Ähnlichkeiten zwischen den Frames aus, die über die Zeit auftreten.

#Ein neuer Ansatz: Prädiktive Kodierung

Um diese Probleme anzugehen, wurde ein neuer Ansatz namens prädiktive Kodierung entwickelt. Diese Methode behandelt die animierten Video-Frames als Referenz für die Erstellung des aktuellen Frames. Anstatt alle Informationen für jedes Frame zu senden, sendet das System nur die Unterschiede zwischen dem animierten Frame und dem tatsächlichen Frame, die als Residuen bekannt sind. Diese Residuen können dann so gesendet werden, dass frühere Frames erkannt werden, was das System effizienter macht, indem redundante Daten reduziert werden.

Die grundlegende Idee hinter dieser neuen Methode ist, dass sie die Art und Weise verbessert, wie wir Video senden, indem sie Animationstechniken mit intelligenter Datenvorhersage kombiniert. So können wir bessere Qualität erzielen und gleichzeitig Bandbreite sparen.

#Wie das System funktioniert

Das neue System, bekannt als Residual Deep Animation Codec (RDAC), baut auf den vorherigen Animationsmethoden auf, beinhaltet jedoch einige wichtige Verbesserungen.

#Animationsvorhersage

Im Kern des RDAC-Systems steht ein Animationsvorhersagemodell. Dieses Modell erkennt Keypoints im Gesicht einer Person und verfolgt ihre Bewegungen. Diese Keypoints sind entscheidend, da sie dem System ermöglichen, vorherzusagen, wie das Gesicht der Person im nächsten Frame bewegen wird. Indem es eine animierte Darstellung basierend auf diesen Punkten generiert, kann das System ein Referenz-Frame erstellen, das approximiert, wie der nächste Frame aussehen sollte.

#Residualkodierung

Nachdem das animierte Frame erstellt wurde, besteht der nächste Schritt darin, den Unterschied zwischen dem tatsächlichen Frame und dem animierten Frame zu berechnen. Dieser Unterschied, oder das Residuum, stellt die zusätzlichen Details dar, die benötigt werden, um das animierte Frame mit dem abzugleichen, was die Kamera tatsächlich erfasst hat. Anstatt all diese Informationen auf einmal zu senden, verwendet RDAC eine Methode, um diese Residuen effizient zu kodieren.

Das System erkennt auch die Muster dieser Residuen über die Zeit. Wenn Frames in einer Sequenz produziert werden, weisen die Unterschiede oft Ähnlichkeiten auf. RDAC nutzt dies, indem es das aktuelle Residuum auf Grundlage der vorherigen vorhersagt. Das bedeutet, dass das System beim Senden von Daten nur die Änderungen vom vorherigen Frame mit sendet, was zu noch mehr Einsparungen in der Datengrösse führt.

#Vorteile des neuen Ansatzes

Das RDAC-System hat im Vergleich zu früheren Methoden signifikante Verbesserungen gezeigt. Es kann Videodateien auf viel kleinere Grössen komprimieren, ohne die Qualität zu beeinträchtigen. Die Ergebnisse zeigen über 70 % Einsparungen in der Datenrate im Vergleich zu traditionellen Codecs wie HEVC und mehr als 30 % im Vergleich zu VVC.

#Reduzierter zeitlicher Drift

Eine der herausragenden Eigenschaften von RDAC ist seine Fähigkeit, den zeitlichen Drift zu verwalten. Bei einfacheren animierungsbasierten Methoden können Probleme auftreten, wenn die visuelle Qualität im Laufe der Zeit abnimmt, insbesondere wenn die Reihe von Video-Frames nicht eng miteinander verbunden ist. RDAC beseitigt dieses Problem, indem es eine Rückkopplungsschleife verwendet, die hilft, die Qualität konsistent zu halten, selbst wenn das Video fortschreitet.

#Bessere Qualität bei niedrigeren Bitraten

Die RDAC-Methode sorgt auch dafür, dass Videoanrufe eine hohe Qualität beibehalten, selbst bei niedrigeren Bitraten. Durch die Verwendung von wahrnehmungsorientierten Qualitätsmetriken ist offensichtlich, dass RDAC klarere Bilder mit lebendigen Farben und minimalen Artefakten im Vergleich zu Standardcodecs liefert. Das ist besonders nützlich für Anwendungen wie Videokonferenzen, wo es wichtig ist, Klarheit zu bewahren.

#Herausforderungen und Komplexität

Während RDAC viele Vorteile bietet, ist es auch etwas komplexer. Die zusätzliche Verarbeitung, die erforderlich ist, um Frames zu kodieren und Residuen vorherzusagen, benötigt Zeit. Bei Tests des Systems wurde festgestellt, dass das Kodieren und Dekodieren eines einzelnen Frames länger dauert als bei einfacheren Methoden. Diese Komplexität wird jedoch als akzeptabler Kompromiss angesehen, angesichts der erheblichen Einsparungen bei den Daten und der verbesserten visuellen Qualität.

#Fazit

Die Videokompression hat einen langen Weg zurückgelegt, besonders mit dem Aufkommen von Videokonferenzen. Neue Methoden wie RDAC zeigen, dass die Kombination von Animationstechniken mit prädiktiver Kodierung zu hochwertigem Video bei niedrigen Bitraten führen kann. Indem wir uns auf Keypoints konzentrieren, um Bewegungen vorherzusagen und effizient die Unterschiede zwischen Frames zu kodieren, können wir die Kommunikationserfahrungen verbessern, ohne die Bandbreitenbeschränkungen zu überfordern.

Da sich die Technologie weiterentwickelt, können wir noch mehr Fortschritte in der Videokompression erwarten, die die Online-Kommunikation für alle reibungsloser und zugänglicher machen. RDAC stellt einen Schritt nach vorn auf diesem fortlaufenden Weg zu besserer Videoqualität und Effizienz in unserer digital vernetzten Welt dar.