Que signifie "WSC+"?
Table des matières
WSC+ est un nouveau dataset créé pour améliorer la façon dont les machines comprennent et génèrent des questions. Ça s’appuie sur un test existant appelé le Winograd Schema Challenge, qui vérifie à quel point les machines peuvent répondre à des questions délicates qui impliquent la compréhension du langage.
Comment WSC+ Fonctionne ?
Pour améliorer WSC+, une nouvelle méthode appelée Tree-of-Experts a été utilisée. Cette méthode aide à créer un plus grand nombre de questions valides. En fait, WSC+ a beaucoup plus de questions valides que les efforts précédents. Ça inclut plus de 3 000 phrases générées par une machine.
Qu'est-ce qui Rend WSC+ Différent ?
WSC+ se démarque parce qu'il ajoute de nouveaux types de questions délicates auxquelles les machines peuvent faire face, y compris certaines qui sont ambiguës ou offensantes. Ça aide les chercheurs à voir à quel point les machines sont confiantes dans leurs réponses et où elles peuvent se tromper ou montrer des biais.
Résultats et Perspectives
Quand la meilleure machine, GPT-4, a été testée sur le dataset WSC+, elle a répondu correctement à 68,7 % des questions. C'est quand même beaucoup plus bas que la référence humaine de 95,1 %, montrant que même si les machines s'améliorent, elles ont encore un long chemin à parcourir.