Analyse des jeux de données de questions-réponses

Dans cet article, on va parler des différents Jeux de données qu'on a utilisés pour notre recherche. Les infos comprennent des détails comme le nombre d'échantillons, le nombre de questions et les indices fournis dans chaque jeu de données.

#Détails des jeux de données

On a examiné trois jeux de données principaux : TriviaQA, NQ et WebQ. Voici les détails concernant ces jeux de données.

#Répartition des types de questions

La répartition des types de questions dans les jeux de données est aussi super importante pour notre étude.

#Métriques utilisées

Dans cette section, on discute des métriques utilisées pour évaluer les méthodes dans notre recherche. La bibliothèque scikit-learn nous a aidés à calculer ces métriques.

#Précision (ACC)

Cette métrique vérifie si les réponses données par le modèle sont correctes.

#Correspondance exacte (EM)

Ça mesure si le passage récupéré ou généré inclut la bonne réponse exactement comme elle apparaît.

#Précision (PR)

Ça montre combien de mots dans le passage se trouvent aussi dans la bonne réponse.

#Rappel (RC)

Ça calcule le nombre de mots de la bonne réponse qui sont inclus dans le passage récupéré.

#F1-mesure (F1)

C'est un équilibre entre la précision et le rappel.

#Contient (CON)

Cette métrique vérifie si le passage récupéré a l'intégralité de la bonne réponse.

#BERTScore (BERT)

Cette métrique vérifie à quel point les mots dans le passage récupéré ressemblent à la réponse en utilisant des embeddings de mots de BERT.

#Résultats expérimentaux

Dans cette section, on fournit les résultats de nos expériences dans divers scénarios. On examine comment différentes conditions et facteurs affectent les résultats.

Le nombre d'indices donne du contexte, tandis que la colonne de classement liste les méthodes pour reranker ces indices.

#Résultats pour le jeu de données TriviaQA

Dans nos expériences, on a analysé les résultats de l'utilisation de T5-3b comme lecteur. On a appliqué à la fois des stratégies de zero-shot et de few-shot learning sur le jeu de données TriviaQA.

Voici les résultats basés sur différentes méthodes de classement et quantités d'indices.

#Résultats du jeu de données NQ

Comme pour le jeu de données précédent, on fournit les résultats pour le jeu de données NQ en utilisant T5-3b dans des conditions zero-shot et few-shot.

#Résultats du jeu de données WebQ

Enfin, on présente les résultats pour le jeu de données WebQ dans les mêmes conditions.

#Performance de T5-3b et LLaMA-7b

On a aussi examiné la performance de T5-3b et LLaMA-7b dans divers scénarios en utilisant différentes méthodes d'indices.

#Etudes de cas

Dans cette section, on montre plusieurs études de cas qui démontrent les invites qu'on a choisies, avec des exemples de nos expériences.

#Questions et réponses types

Voici quelques questions types venant des jeux de données, avec les réponses des modèles :

#Indices générés

Nos études de cas illustrent comment les indices ont été générés pour diverses questions. Chaque indice fournissait un contexte pour aider les modèles à trouver les bonnes réponses.

#Conclusion

Dans cet article, on a exploré divers jeux de données utilisés pour notre recherche, en se concentrant sur leurs détails, les métriques utilisées pour l’évaluation, les résultats expérimentaux et des études de cas qui illustrent l'application pratique de nos méthodes. Le but est de contribuer à la compréhension de la performance des différents modèles pour répondre aux questions avec l'aide d'indices contextuels.