Bewertung der Videoqualität in nutzergenerierten Inhalten

Die AIS 2024 Challenge konzentriert sich darauf, Wege zu finden, um die Qualität von Videos zu bewerten, die von Nutzern erstellt wurden. Diese Videos kommen von verschiedenen Plattformen wie YouTube und werden mit persönlichen Geräten wie Handys und Kameras aufgenommen. Das Ziel ist herauszufinden, wie Deep Learning helfen kann, zu bestimmen, wie gut diese Videos in Bezug darauf sind, was Zuschauer sehen und erleben können.

#Hintergrund

In den letzten Jahren haben mehr Menschen Videos online geschaut, dank Plattformen wie Netflix und YouTube. Das liegt an besseren Internetgeschwindigkeiten und leistungsfähigeren Geräten. Aber um sicherzustellen, dass Zuschauer diese Videos geniessen, müssen Unternehmen die Videoqualität überprüfen.

Die Qualität kann auf zwei Arten überprüft werden: durch die Meinungen von Menschen oder mit Maschinen. Wenn Menschen die Qualität beurteilen, kann das viel Zeit und Geld kosten. Maschinelles Lernen kann helfen, die Videoqualität viel schneller vorherzusagen. Diese Challenge zielt darauf ab, Modelle zu erstellen, die die Videoqualität bewerten können, ohne ein Referenzvideo zu benötigen, um sich mit typischen Qualitätsmassnahmen zu vergleichen.

#Nutzer-generierte Inhalte

Nutzer-generierte Inhalte beziehen sich auf Videos, die von Einzelpersonen und nicht von Profis erstellt werden. Diese Videos können über alles Mögliche sein: Sport, Musik, Kochen oder einfach das tägliche Leben. Sie haben oft Mängel, wie schlechtes Licht oder verwackelte Aufnahmen. Das ist anders als bei Videos, die von Profis gemacht werden, wo normalerweise alles geplant und mit hochwertiger Ausrüstung gefilmt wird.

Die Challenge betrachtet Videos, die verschiedene Qualitätsprobleme wie Unschärfe, blockartige Bilder und Rauschen aufweisen. Um dies anzugehen, verwenden die Teilnehmer einen speziellen Datensatz, der als YouTube User-Generated Content (YT-UGC) Datensatz bekannt ist, der verschiedene Arten von Videos mit unterschiedlichen Qualitäten und Auflösungen enthält.

#Struktur der Challenge

Die Challenge versammelte Teilnehmer, die ihre Methoden und Lösungen zur Bewertung der Videoqualität einreichen mussten. Insgesamt haben sich 102 Personen angemeldet, und 15 Teams haben tatsächlich ihre funktionierenden Modelle eingereicht. Diese Modelle wurden dann Bewertet, basierend darauf, wie gut sie die Videoqualität im Vergleich zu menschlichen Bewertungen einschätzten.

Der Bewertungsprozess konzentriert sich darauf, wie gut diese Modelle Videos schnell verarbeiten können. Insbesondere müssen die Modelle 30 Full HD-Bilder innerhalb einer Sekunde analysieren.

#Datensatzbeschreibung

Der im Wettbewerb verwendete YT-UGC-Datensatz besteht aus etwa 1.000 kurzen Videoclips, die jeweils etwa 20 Sekunden dauern. Diese Clips umfassen eine Vielzahl von Stilen und Auflösungen, die von niedriger Qualität (360p) bis hoher Qualität (4K) reichen. Jedes Video wird von vielen Zuschauern bewertet, um seine Gesamtqualität zu bestimmen, was ein umfassendes Verständnis davon ermöglicht, wie gut jedes Video aus der Sicht eines Zuschauers ist.

#Modellanforderungen

Für die im Rahmen dieser Challenge erstellten Modelle müssen bestimmte Anforderungen erfüllt werden:

• Die Modelle sollten sowohl Full HD (FHD) als auch HD-Clips innerhalb eines bestimmten Zeitrahmens verarbeiten.
• Frame-Sampling ist erlaubt, was bedeutet, dass die Modelle weniger Bilder betrachten können, wenn sie trotzdem gute Ergebnisse erzielen.
• Die Teilnehmer dürfen vorhandene Lösungen oder vortrainierte Modelle bei der Erstellung ihrer Lösungen verwenden.
• Die Vorhersagen der Modelle sollten zur Genauigkeit mit menschlichen Bewertungen verglichen werden.

#Leistungskennzahlen

Um zu sehen, wie gut jedes Modell funktioniert, werden bestimmte Kennzahlen verwendet. Diese Metriken messen, wie eng Vorhersagen mit den subjektiven Bewertungen übereinstimmen, die von menschlichen Zuschauern bereitgestellt werden. Das bietet eine klare Möglichkeit, die Effektivität verschiedener Modelle zu vergleichen.

#Top-Lösungen

Mehrere Teams haben bemerkenswerte Lösungen produziert. Hier sind einige interessante Ansätze von verschiedenen Teams:

#COVER von Team FudanVIP

COVER wurde entwickelt, um die Videoqualität aus mehreren Blickwinkeln zu bewerten: technisch, ästhetisch und semantisch. Das Modell verwendet drei Äste, um das Video zu analysieren. Jeder Ast konzentriert sich auf unterschiedliche Aspekte des Videos, um eine umfassende Bewertung zu erstellen. Diese Methode ermöglicht eine tiefgehende Bewertung der Videoqualität.

#TVQE von Team Tencent

Dieses Team entwickelte das TVQE-Modell, das sowohl globale als auch lokale Faktoren bei der Beurteilung der Videoqualität berücksichtigt. Mit drei separaten Netzwerken kombiniert es visuelle und semantische Informationen, um die Qualität vorherzusagen. Dieser hybride Ansatz hilft, eine ausgewogene Beurteilung zu bieten.

#Q-Align von Team Q-Align

Q-Align verwandelt Bewertungen der Videoqualität in Frage-Antwort-Paare. Diese einzigartige Methode hilft Modellen, zu lernen, wie man Qualität beurteilt, indem sie in einer strukturierteren Weise mit Nutzerfeedback in Beziehung gesetzt wird. Das Modell verwendet grosse, multimodale Frameworks, um Vorhersagen basierend darauf zu liefern, wie Zuschauer auf spezifische Fragen reagieren.

#SimpleVQA+ von Team SJTU MMLab

Das SimpleVQA+-Modell verwendet zwei Hauptwege zur Verarbeitung von Videodaten: einen für räumliche Details und einen anderen zur Verfolgung von Veränderungen über die Zeit. Dieser duale Ansatz hilft, ein umfassendes Bild der Videoqualität zu erstellen. Das Team hat sein Modell trainiert, um seine Vorhersagen zu verbessern, indem es verschiedene Datensätze nutzt.

#Frankenstone von Team AVT

Frankenstone kombiniert Merkmale aus verschiedenen Modellen mithilfe eines Random Forest-Regressionsansatzes. Es sammelt Daten aus mehreren Methoden, um die Gesamtvideoqualität zu bewerten. Dieses Modell ist so gestaltet, dass es anpassungsfähig und effizient ist.

#Effizienzüberlegungen

Effizienz ist ein wichtiger Faktor bei der Bewertung der Videoqualität. Das ideale Modell kann Videos schnell analysieren und gleichzeitig genaue Rückmeldungen geben. Jede vorgeschlagene Lösung strebt an, ein Gleichgewicht zwischen Geschwindigkeit und Genauigkeit zu finden, um sicherzustellen, dass die Nutzer qualitativ hochwertige Bewertungen nahezu in Echtzeit erhalten.

#Fazit

Die AIS 2024 Challenge hebt die Innovationen bei der Bewertung der Videoqualität hervor, insbesondere für nutzergenerierte Inhalte. Da die Nachfrage nach Online-Videos weiter wächst, wird die Notwendigkeit für effektive Methoden zur Qualitätsbewertung immer wichtiger. Die Arbeiten der Teilnehmer an der Entwicklung neuer Modelle zeigen die Fortschritte im Deep Learning und in der Videoanalyse und ebnen den Weg für verbesserte Zuschauererlebnisse.

#Zukünftige Richtungen

In Zukunft wird sich der Fokus wahrscheinlich darauf verschieben, diese Modelle weiter zu verfeinern, um noch schnellere und genauere Bewertungen zu ermöglichen. Darüber hinaus kann die Einbettung dieser Lösungen in Streaming-Plattformen sicherstellen, dass Zuschauer immer Inhalte erhalten, die ihren Qualitätsstandards entsprechen. Mit dem technischen Fortschritt könnten wir auch personalisierte Bewertungen basierend auf den individuellen Vorlieben der Zuschauer sehen.