Was bedeutet "WSC+"?
Inhaltsverzeichnis
WSC+ ist ein neues Dataset, das entwickelt wurde, um zu verbessern, wie Maschinen Fragen verstehen und generieren. Es baut auf einem bestehenden Test namens Winograd Schema Challenge auf, der prüft, wie gut Maschinen knifflige Fragen beantworten können, die Sprachverständnis erfordern.
Wie funktioniert WSC+?
Um WSC+ besser zu machen, wurde eine neue Methode namens Tree-of-Experts verwendet. Diese Methode hilft, eine größere Anzahl von gültigen Fragen zu erstellen. Tatsächlich hat WSC+ viel mehr gültige Fragen als frühere Versuche. Es enthält über 3.000 Sätze, die von einer Maschine erzeugt wurden.
Was macht WSC+ anders?
WSC+ sticht hervor, weil es neue Arten von kniffligen Fragen hinzufügt, mit denen Maschinen konfrontiert werden können, einschließlich solcher, die mehrdeutig oder anstößig sind. Das hilft Forschern zu sehen, wie sicher Maschinen bei ihren Antworten sind und wo sie Fehler machen oder Vorurteile zeigen könnten.
Ergebnisse und Einblicke
Als die beste Maschine, GPT-4, mit dem WSC+ Dataset getestet wurde, hat sie 68,7% der Fragen richtig beantwortet. Das ist ziemlich niedrig im Vergleich zum menschlichen Benchmark von 95,1%, was zeigt, dass Maschinen zwar besser werden, aber noch einen langen Weg vor sich haben.