Standardisierung von Qualitätsbewertungsdatensätzen

In den letzten Jahren wurden viele Datensätze erstellt, um die Qualität von Multimedia-Inhalten zu bewerten. Dazu gehören subjektive Qualitätsbewertungen, bei denen Leute ihre Meinungen abgeben, und objektive Qualitätsbewertungen, bei denen mit bestimmten Metriken gemessen wird. Trotz der vielen verfügbaren Datensätze gibt es keinen einheitlichen Weg, Informationen darüber zu präsentieren. Dieser fehlende Standard macht es Forschern schwer, schnell herauszufinden, was ein Datensatz enthält, wie die Quellvideos, die Methoden zur Datenerhebung und vieles mehr.

Dieser Artikel spricht über die Notwendigkeit einer standardisierten Vorlage zur Dokumentation dieser Datensätze, damit es einfacher für die Nutzer wird, sie zu verstehen und zu nutzen. Das Ziel ist es, einen einfachen und effektiven Weg zu schaffen, um alle notwendigen Details über die Datensätze bereitzustellen, um die Forschungsqualität und Reproduzierbarkeit zu verbessern.

#Die Bedeutung von Qualitätsbewertungsdatensätzen

In den letzten zwei Jahrzehnten ist Video-Streaming sehr beliebt geworden. Es macht inzwischen einen grossen Teil des Internetverkehrs aus. Dieses Wachstum ist auf verschiedene Faktoren zurückzuführen, darunter bessere Videokompressionstechniken, verbesserte Bereitstellungsmethoden und fortschrittliche Geräte wie Smartphones und Smart-TVs. Um diesen Schwung weiter aufrechtzuerhalten, ist es entscheidend, dass die Nutzer eine gute Qualitäts­erfahrung beim Streamen haben.

Die Qualität der Erfahrung (QoE) misst, wie sehr die Nutzer einen bestimmten Dienst geniessen oder ihn ablehnen. Die Forschung hat sich darauf konzentriert, verschiedene Qualitätsmetriken zu erstellen, um vorherzusagen, wie Nutzer Multimedia-Inhalte wahrnehmen. Diese Metriken reichen von einfachen, die die Bildqualität messen, wie PSNR, bis hin zu komplexeren, die darauf ausgelegt sind, Videos zu bewerten, wie VMAF.

Die Entwicklung effektiver Qualitätsmetriken hängt von einer Vielzahl von Datensätzen ab. Im Laufe der Jahre wurden viele Datensätze erstellt, beginnend von den frühen 2000er Jahren bis hin zu neueren Sammlungen. Diese Datensätze haben den Forschern geholfen zu verstehen, wie man die Multimedia-Qualität bewertet und verbessert.

#Der Bedarf an standardisierter Dokumentation

Obwohl viele Datensätze existieren, gibt es kein einheitliches Format für deren Dokumentation. Dieser Mangel an Standardisierung bedeutet, dass es den Erstellern überlassen bleibt, was enthalten ist. Ohne eine klare Anleitung kann wichtige Information fehlen. Das kann zu einer frustrierenden Erfahrung für Forscher führen, die notwendige Daten aus mehreren Quellen sammeln müssen, was oft zeitaufwendig ist.

Die Abwesenheit einer Standardvorlage erschwert es den Nutzern, relevante Details zu den Datensätzen, die sie interessieren, zu finden. Infolgedessen könnten sie wichtige Informationen über die Quelle des Datensatzes, die Testmethodologie und die Codierungseinstellungen verpassen. Das kann ihre Fähigkeit behindern, die Datensätze effektiv in ihrer Forschung zu nutzen.

#Erstellung einer Vorlage zur Dokumentation

Um die Lücke in der Dokumentation zu schliessen, wurde eine neue Datensatzvorlage vorgeschlagen. Das Ziel ist es, den Dokumentationsprozess sowohl für bestehende als auch neue Datensätze zu vereinfachen und zu verbessern, wie Nutzer sie verstehen und Ergebnisse aus früheren Studien reproduzieren können. Diese Vorlage kann als Leitfaden für Datensatzersteller dienen und ihnen helfen, ihre Arbeit klar und konsistent zu präsentieren.

Die vorgeschlagene Datensatzvorlage wird mehrere Abschnitte enthalten, die alle notwendigen Aspekte der Datensätze abdecken. Indem die Ersteller dieser Vorlage folgen, können sie sicherstellen, dass sie vollständige Informationen bereitstellen, was es den Nutzern erleichtert, den Kontext zu verstehen und den Datensatz in ihrer Arbeit zu nutzen.

#Überblick über die vorgeschlagene Vorlage

Die vorgeschlagene Datensatzvorlage ist in sechs Hauptabschnitte unterteilt:

#1. Überblick über den Datensatz

In diesem Abschnitt wird eine kurze Beschreibung des Datensatzes gegeben. Es sollten der Name des Datensatzes, das Erstellungsdatum, der Download-Link, die Lizenz zur Nutzung, wie man ihn zitiert, und die Kontaktdaten der Ersteller enthalten sein. Dieser Überblick hilft den Nutzern, schnell zu beurteilen, ob der Datensatz zu ihren Forschungsbedürfnissen passt.

#2. Beschreibung des Datensatzes

In diesem Abschnitt werden die Eigenschaften des Datensatzes detailliert beschrieben. Es enthält Informationen über die Quellvideos, wie deren Anzahl, Art, Auflösung und andere relevante Merkmale. Ausserdem wird in diesem Abschnitt die verwendeten Codierungseinstellungen besprochen, wie die Arten von Codecs und die Parameter für die Codierung. Schliesslich werden die verarbeiteten Video­sequenzen behandelt, einschliesslich der Anzahl der verwendeten Sequenzen und des Formats für die Medienwiedergabe.

#3. Subjektive Qualitätsbewertung

Dieser Teil befasst sich mit den Methoden und Verfahren, die während der subjektiven Qualitätsbewertung verfolgt wurden. Es detailliert die Testbedingungen, wie die Umgebung, den Typ des Displays und den Abstand, in dem die Teilnehmenden sitzen sollten. Es wird auch die Testmethodologie besprochen, einschliesslich der verwendeten Software und der Anzahl der beteiligten Probanden. Dieser Abschnitt zielt darauf ab, den Lesern ein klares Verständnis darüber zu geben, wie subjektive Qualitätsbewertungen durchgeführt werden.

#4. Objektive Qualitätsbewertung

Dieser Abschnitt konzentriert sich auf objektive Messungen, die zur Bewertung der Videoqualität vorgenommen wurden. Er beschreibt verschiedene Modelle und Methoden, die zur Vorhersage der visuellen Qualität auf der Grundlage spezifischer Messungen verwendet werden. Wichtige Aspekte sind die verwendeten Qualitätsmetriken, wie sie implementiert wurden und wie ihre Wirksamkeit bewertet wurde. Diese Informationen helfen den Lesern, die Zuverlässigkeit der objektiven Bewertungen zu verstehen.

#5. Ethische Überlegungen

Wenn es um Datensätze mit Multimedia-Inhalten geht, sind ethische Fragen erheblich. In diesem Abschnitt werden Aspekte wie die Einbeziehung personenbezogener Daten und störender Inhalte behandelt. Es ist wichtig, dass die Nutzer die ethischen Richtlinien verstehen, die bei der Datensammlung befolgt wurden, insbesondere wenn menschliche Teilnehmer an subjektiven Bewertungen beteiligt sind. Dieser Abschnitt behandelt auch die notwendigen Genehmigungen und Einverständniserklärungen.

#6. Ergänzende Informationen

Abschliessend wird in diesem Abschnitt zusätzliche Information bereitgestellt, die nicht anderswo passt. Es werden Details zu den Erstellern, der Finanzierung des Datensatzes und etwaige vertrauliche Angelegenheiten festgehalten, über die die Nutzer Bescheid wissen sollten. Dieser Abschnitt ermöglicht es den Datensatz-Erstellern, relevante Informationen zu teilen, die das Verständnis des Datensatzes fördern.

#Beispiel-Datensätze

Um zu verdeutlichen, wie die vorgeschlagene Vorlage funktioniert, stellen wir Beispiel-Datensätze für die folgenden bestehenden Datensätze bereit:

#GamingVideoSET

Dieser Datensatz umfasst Quellvideos sowie die Ergebnisse sowohl subjektiver als auch objektiver Bewertungen in Bezug auf die Qualität von Gaming-Videos. Er bietet Einblicke, wie Gamer Videoqualität wahrnehmen.

#AVT-VQDB-UHD1

Dieser Datensatz enthält Quellvideos und sowohl subjektive als auch objektive Bewertungen für Videos, die mit verschiedenen Codecs codiert wurden. Er wurde zur Entwicklung spezifischer Empfehlungen für die Video­qualitätsbewertung genutzt, was seine Relevanz beim Verständnis der Video­codierung unterstreicht.

#BC-KU Multi-Screen Dataset

Der neueste Datensatz konzentriert sich auf subjektive und objektive Bewertungen der Videoqualität auf mehreren Bildschirmen, darunter mobile Geräte, Tablets und Fernseher. Er bietet Einblicke, wie die Qualität je nach verwendetem Gerät variieren kann.

#Fazit und zukünftige Arbeiten

Dieser Versuch, eine Datensatzvorlage zu erstellen, zielt darauf ab, die Dokumentation subjektiver und objektiver Qualitätsbewertungs-Datensätze zu verbessern. Obwohl sie noch nicht perfekt oder vollständig ist, dient sie als Ausgangspunkt. Mit dem Feedback von Experten aus dem Bereich werden Aktualisierungen und Verbesserungen vorgenommen, um sicherzustellen, dass die Vorlage den Bedürfnissen der Community entspricht.

Obwohl die Vorlage eine zusätzliche Belastung für die Datensatz-Ersteller darstellt, überwiegen die Vorteile eines standardisierten Formats bei Weitem die Kosten. Die Vorlage kann leicht an verschiedene Arten von Datensätzen angepasst werden, einschliesslich reiner Audio- und immersiven Videoformaten.

In Zukunft ist das Ziel, mit Experten aus verschiedenen Bereichen zusammenzuarbeiten, um noch massgeschneiderte Vorlagen für andere Arten von Bewertungsdatensätzen zu entwickeln. Das wird die Klarheit und Benutzerfreundlichkeit für Forscher in diesem Bereich verbessern.