Presentiamo SportQA: Un nuovo benchmark per la conoscenza sportiva nei modelli linguistici

Una solida conoscenza dello sport è fondamentale per migliorare il modo in cui i computer comprendono il linguaggio. Questo è particolarmente importante quando si valutano e migliorano i modelli di linguaggio di grandi dimensioni, visto che non ci sono molti test disponibili che si concentrano specificamente sulla conoscenza sportiva. Per colmare questa lacuna, presentiamo SportQA, un nuovo benchmark pensato per testare quanto bene i modelli di linguaggio comprendano lo sport. SportQA include oltre 70.000 Domande a scelta multipla che variano in difficoltà, coprendo tutto, dai fatti sportivi di base alle attività di ragionamento complesse basate su scenari sportivi reali.

Abbiamo valutato molti modelli di linguaggio popolari usando SportQA, per lo più usando metodi che richiedono pochi esempi combinati con un approccio di ragionamento. I nostri risultati mostrano che mentre questi modelli si comportano bene nella conoscenza sportiva di base, faticano con il ragionamento sportivo più complicato, risultando inferiori rispetto agli esseri umani.

#La sfida di comprendere lo sport

Il mondo veloce e diversificato dello sport presenta sfide uniche per i computer progettati per comprendere il linguaggio umano. Anche se questi modelli hanno dimostrato abilità impressionanti in molte attività linguistiche, la loro performance nel dominio sportivo rimane limitata. La conoscenza sportiva spesso combina statistiche, storie e pensiero strategico, cosa che può essere complicata per questi modelli da afferrare completamente.

I fan possono facilmente rispondere a domande come “Chi ha vinto la Coppa del Mondo FIFA 2022?” o “Qual è il record per il maggior numero di punti segnati in una partita NBA?” Tuttavia, domande più complesse, come “Perché il servizio flottante è più comune nei campionati di pallavolo giovanili rispetto a quelli professionisti?” richiedono un livello di comprensione più profondo. Questa lacuna evidenzia la necessità di un dataset di domande e risposte dedicato allo sport che aiuti a migliorare quanto bene i modelli di linguaggio comprendano lo sport.

#Tre livelli di comprensione dello sport

Per misurare quanto bene i modelli di linguaggio comprendano la conoscenza sportiva, sono emersi diversi dataset. Alcuni dataset esistenti guardano alla conoscenza sportiva di base, mentre altri si concentrano su aree specifiche come le trasmissioni NBA in diretta. Tuttavia, questi dataset hanno limitazioni in termini di dimensione, gamma e profondità. Ad esempio, alcune domande potrebbero chiedere ai modelli di giudicare la verità di un'affermazione che mescola giocatori e partite di diversi sport, il che non riflette una comprensione profonda dello sport.

SportQA affronta queste carenze offrendo un insieme completo di domande. Include 70.592 domande che mirano a tre distinti livelli di comprensione.

• Livello-1: Questo livello si concentra sulla conoscenza di base. Le domande qui non richiedono una profonda esperienza, permettendo ai rispondenti di rispondere richiamando fatti, come conoscere i vincitori di certi eventi olimpici. Ci sono 21.385 domande in questa categoria.

• Livello-2: Questo livello richiede una certa esperienza e copre regole e strategie. Con 45.685 domande, mette alla prova i modelli sulla loro comprensione delle varie regole e tattiche sportive, aiutando a valutare la loro comprensione più profonda.

• Livello-3: Questo livello è per esperti. Include 3.522 domande complesse basate su scenari che richiedono un pensiero analitico avanzato e una comprensione approfondita di sport specifici. Un esempio di domanda potrebbe riguardare la migliore tecnica per un giocatore di pallavolo che affronta i muratori durante una partita.

Le domande di Livello-1 e Livello-2 sono in un formato di scelta multipla semplice. Al contrario, le domande di Livello-3 consentono risposte multiple corrette, richiedendo al modello di applicare la propria conoscenza in modi più sfumati.

#Valutazione dei modelli di linguaggio con SportQA

Per vedere quanto bene i modelli di linguaggio si comportano su SportQA, abbiamo valutato diversi modelli recenti, come GPT-4. La valutazione ha utilizzato pochi esempi e suggerimenti di ragionamento, e i risultati hanno indicato che mentre GPT-4 ha ottenuto buoni risultati nei livelli base e intermedi, ha ancora mostrato significative lacune nel ragionamento avanzato basato su scenari.

Ad esempio, GPT-4 ha raggiunto un'accuratezza media del 82,16% nel Livello-1, del 75% nel Livello-2 e solo del 47,14% nel Livello-3. Questo significa che anche i migliori modelli sono ancora lontani dal raggiungere le performance umane, il che è critico per la comprensione reale dello sport.

#Il panorama dell'NLP sportivo

Il Natural Language Processing (NLP) sportivo è un campo in crescita con molte applicazioni. I lavori recenti in quest'area spaziano dall'analisi del sentiment alle previsioni di gioco e alla generazione di resoconti di partita. Tuttavia, molti modelli esistenti non esplorano abbastanza le complessità della comprensione sportiva. La maggior parte delle applicazioni si concentra più sull'analisi statistica piuttosto che sulle complessità più profonde dello sport.

Sebbene alcuni dataset precedenti abbiano cercato di valutare la comprensione sportiva dei modelli di linguaggio, spesso limitano il loro focus a fatti di base o eventi ben noti. La mancanza di dataset che sfidano una comprensione più profonda significa che i modelli di linguaggio potrebbero avere difficoltà con le sfumature e gli elementi strategici inerenti agli sport.

#Creazione del dataset SportQA

Il dataset SportQA è stato creato attraverso una combinazione di metodi automatizzati e input di esperti. Per le domande di Livello-1 e Livello-2, abbiamo mescolato modelli automatizzati con aggiustamenti manuali per produrre domande diversificate. Le domande di Livello-3, data la loro complessità, sono state concepite esclusivamente da professionisti dello sport esperti.

Per garantire l'accuratezza e la qualità di SportQA, abbiamo coinvolto un team di 36 atleti intercollegiali dagli Stati Uniti e dalla Cina, ciascuno con almeno otto anni di allenamento sportivo. La loro vasta esperienza ha aiutato a verificare la rilevanza e la correttezza delle domande.

#Livelli delle domande in SportQA

#Livello-1: Conoscenza sportiva di base

Le domande di Livello-1 valutano la conoscenza sportiva di base, concentrandosi sul richiamo di fatti e informazioni storiche. Questo insieme include 21.385 domande a scelta multipla derivate da varie fonti.

Ad esempio, le domande potrebbero essere trasformate da dataset precedenti, adattando i formati da aperti a a scelta multipla per standardizzare le domande. Il processo automatizzato ha coinvolto la selezione di distrattori che siano pertinenti ma fuorvianti, garantendo una sfida per i modelli.

#Livello-2: Comprensione delle regole e delle strategie

Le domande di Livello-2 approfondiscono la comprensione delle regole e delle tattiche sportive. Questo livello presenta 45.685 domande che coprono un ampio spettro di sport.

Il processo di creazione di queste domande ha coinvolto la categorizzazione e l'annotazione dei contenuti provenienti da fonti come Wikipedia. Modelli predefiniti hanno garantito coerenza, e il perfezionamento manuale ha aiutato a creare domande più complesse che testassero sia la conoscenza che il ragionamento.

#Livello-3: Domande avanzate basate su scenari

Il Livello-3 presenta 3.522 domande avanzate su sei sport principali (calcio, basket, pallavolo, tennis, tennis da tavolo e football americano).

Queste domande complesse richiedono spesso punti di conoscenza multipli e sono progettate per emulare scenari sportivi reali. Il processo di sviluppo si è basato fortemente sul feedback di allenatori esperti ed esperti atletici per garantire che le domande fossero significative e impegnative.

#Confronto delle performance dei modelli di linguaggio

Nella valutazione di come i diversi modelli di linguaggio si comportano sul benchmark SportQA, abbiamo scoperto che GPT-4 ha costantemente superato altri modelli in tutti i livelli.

È interessante notare che, mentre GPT-4 mostra forti risultati, il divario di performance rispetto agli esperti umani rimane significativo, specialmente per le domande di Livello-3. I modelli hanno collettivamente ottenuto i risultati migliori nel Livello-1, con l'accuratezza che diminuisce nei livelli più alti man mano che le domande diventano più complesse.

#Analisi degli errori nella performance dei modelli

Per ottenere informazioni su dove i modelli faticano, abbiamo condotto un'analisi degli errori su alcune risposte sbagliate selezionate da ciascun livello. Questo ha comportato la revisione degli errori per identificare tipi comuni di errore, come la malintesa dei concetti di base o l'uso scorretto delle informazioni.

Per il Livello-3, dove gli scenari richiedevano un ragionamento complesso, gli errori derivavano spesso da un'incapacità di interpretare correttamente il contesto. Non sorprendentemente, la malintesa concettuale era il principale tipo di errore, indicando che i modelli faticano frequentemente a capire le complessità necessarie per rispondere a domande più avanzate.

#Conclusione

L'introduzione di SportQA offre un modo strutturato per valutare la comprensione sportiva nei modelli di linguaggio. A differenza dei benchmark precedenti che si concentravano principalmente sul richiamo di fatti di base, SportQA sfida i modelli con domande che comprendono un'ampia gamma di conoscenze sportive, dai fatti storici al ragionamento complesso.

Le nostre valutazioni dimostrano che, mentre modelli come GPT-4 hanno mostrato promesse nella conoscenza fondamentale, le loro performance nel ragionamento sportivo avanzato devono ancora migliorare. Questo evidenzia la continua necessità di progressi nel Natural Language Processing per sviluppare modelli che possano meglio comprendere e analizzare lo sport.

#Limitazioni e lavoro futuro

Sebbene SportQA fornisca una valutazione ampia della comprensione sportiva, presenta alcune limitazioni. Il processo di creazione di domande avanzate basate su scenari è stato complesso, risultando in un numero ridotto di domande a questo livello rispetto agli altri.

Un'altra limitazione è il focus attuale del dataset sulle regole e sul gioco, escludendo aree critiche come la medicina sportiva e la psicologia, che contribuiscono anch'esse a una comprensione completa dello sport.

Guardando al futuro, ci impegniamo ad espandere il dataset SportQA e migliorare il suo contenuto includendo una gamma più ampia di aree di conoscenza e reclutando membri del team con background diversi. Questo aiuterà a garantire che le future iterazioni di SportQA sviluppino una comprensione più completa dello sport.

Abbiamo anche l'intenzione di ampliare le nostre valutazioni includendo più modelli di linguaggio, assicurando un'analisi approfondita delle loro capacità nelle attività di comprensione sportiva. Inoltre, pianifichiamo di ottimizzare modelli esistenti per compiti focalizzati sullo sport, permettendo una migliore comprensione e analisi attraverso vari scenari sportivi.