Développer un système de dialogue japonais avec changement de sujet

Ces dernières années, des systèmes de dialogue à grande échelle ont été développés pour permettre aux humains d'interagir avec les machines de manière plus naturelle. Un de ces systèmes, appelé PLATO-2, a montré un grand succès en anglais et en chinois. Cependant, il n'y a pas eu beaucoup de recherches sur la performance de ces systèmes en japonais. Cet article se concentre sur la création d'un système de dialogue japonais, que nous appelons PLATO-JDS, et il introduit une méthode pour changer de sujet pendant les conversations.

#Création de Dataset

Pour poser une bonne base pour notre système, on a créé un gros dataset spécifiquement pour le dialogue en japonais. Ce dataset, nommé Dialogue-Graph, inclut 1,656 million de dialogues. On a collecté les données de diverses sources comme des articles de presse, des sous-titres de TV et Wikipédia. Les données sont organisées comme un arbre, où chaque sujet peut avoir plusieurs réponses. En organisant les données de cette manière, on vise à capturer le flux des conversations plus efficacement.

#Entraînement du Système de Dialogue

Après avoir créé le dataset, on a entraîné notre système de dialogue en utilisant le modèle PLATO-2. Ce modèle est capable de générer des réponses comme un humain en fonction de l'entrée qu'il reçoit. Cependant, lors de nos tests, on a trouvé que le système avait du mal à changer de sujet de manière appropriée. Cela signifie que quand un utilisateur décidait de changer de sujet au milieu de la conversation, le système continuait souvent à parler de l'ancien sujet.

Pour résoudre ce problème, on a développé un algorithme de changement de sujet. Cet algorithme utilise un outil appelé discriminateur de sujet, qui identifie si la nouvelle entrée de l'utilisateur est liée au sujet de conversation précédent. Si l'entrée de l'utilisateur ne correspond pas, le système change de sujet de manière appropriée.

#Discriminateur de Sujet

Le discriminateur de sujet agit comme un juge qui examine chaque nouvelle entrée pour déterminer si elle correspond à la conversation en cours. On a entraîné ce discriminateur en utilisant le même dataset qu'on a créé. L'objectif est de comprendre le contexte du dialogue, en s'assurant que le système peut changer de sujet comme nécessaire.

Le discriminateur de sujet a été entraîné en utilisant une méthode appelée Classification binaire, ce qui signifie qu'il décide si deux pièces de dialogue appartiennent au même sujet ou non. C'est crucial pour garder la conversation pertinente et engageante pour l'utilisateur.

#Évaluation du Système

Pour mesurer l'efficacité de notre système, on a utilisé plusieurs critères pour évaluer sa performance. Ces critères incluaient la cohérence, l'informativeness, l'engagement, et l'humainité.

• Cohérence vérifie si les réponses du système sont pertinentes par rapport au sujet.
• Informativeness évalue si les réponses apportent des informations utiles.
• Engagement mesure à quel point la conversation est agréable pour l'utilisateur.
• Humainité évalue si les réponses semblent naturelles, comme si elles venaient d'une vraie personne.

Nos résultats ont montré que le système PLATO-JDS a obtenu une moyenne de 1,500 sur 2,000 dans ces tests, indiquant une forte performance. L'introduction de l'algorithme de changement de sujet a encore boosté la moyenne à 1,767. Cela a montré que notre système maintenait non seulement un dialogue de haute qualité, mais s'adaptait aussi bien quand les utilisateurs changeaient de sujet.

#Processus de Collecte de Données

Pour le dataset, on a rassemblé des contributions de divers participants. On a mis en place un système basé sur la foule où des volontaires pouvaient contribuer à créer des dialogues. Chaque participant alternait les rôles pendant la conversation, assurant des interactions diversifiées. Le système a été conçu pour permettre aux travailleurs de créer des dialogues dès qu'ils avaient du temps libre, ce qui a accéléré le processus de collecte.

Après avoir collecté les dialogues, on les a évalués pour filtrer ceux qui étaient absurdes ou inappropriés. Cette étape était cruciale pour s'assurer que seuls des dialogues de haute qualité étaient inclus dans notre dataset.

#Approche d'Entraînement Detaillée

On a entraîné PLATO-JDS en deux étapes principales.

Dans la première étape, on s'est concentré sur la génération de réponses générales. Le modèle a appris à produire des réponses basées sur un mapping un-à-un d'entrée et de sortie. Cette étape a aidé le modèle à comprendre la structure de base de la conversation.

Dans la deuxième étape, on a introduit une approche plus complexe appelée mapping un-à-plusieurs. À ce stade, le modèle a appris à générer plusieurs réponses pour une seule entrée utilisateur. C'est important pour créer des variations dans les réponses, rendant le dialogue plus dynamique et vivant.

#Méthodes de Génération de Dialogue

Le processus de génération de dialogue implique certaines étapes qui garantissent que le système produit des réponses cohérentes et de haute qualité. Le modèle génère une réponse basée sur l'entrée utilisateur actuelle et le dialogue passé.

Si l'algorithme de changement de sujet détermine que le contexte change, il ajustera son input en conséquence. Le système compare l'entrée utilisateur avec les dialogues précédents pour décider s'il doit inclure des réponses passées dans la génération de la nouvelle sortie.

#Évaluations Humaines

On a réalisé des évaluations humaines dans le cadre de notre approche pour évaluer la qualité des dialogues générés par notre système. Les participants étaient invités à interagir avec le système et à fournir des retours basés sur les métriques établies.

Ces retours étaient essentiels pour affiner le modèle et s'assurer qu'il répondait aux attentes des utilisateurs. Les résultats ont montré que PRATO-JDS, surtout avec l'algorithme de changement de sujet, performait bien pour garder les conversations engageantes et pertinentes.

#Conclusion

En résumé, on a réussi à développer un système de dialogue japonais, PLATO-JDS, qui peut générer des réponses humaines. En créant un gros dataset et en entraînant le modèle efficacement, on a assuré que le système comprend les nuances du dialogue en japonais.

L'introduction de l'algorithme de changement de sujet a significativement amélioré l'expérience utilisateur en permettant des transitions plus fluides entre les sujets. En conséquence, notre système montre un fort potentiel pour de futures applications dans l'IA conversationnelle dans la langue japonaise.