Créer un ensemble de dialogues de persona en coréen
Cette étude développe un grand ensemble de données de dialogue de persona en open-domain.
― 23 min lire
Table des matières
- Le Rôle de la Persona dans les Conversations
- Pourquoi Créer un Dataset de Dialogue Est Difficile
- Dialogue Persona en Libre Domaine
- Notre Étude
- Travaux Connexes
- Procédure de Construction de Données
- Retours des Acteurs
- Retours du Modérateur
- Analyse des Enquêtes
- Génération de Dialogue à Few-shot
- Conclusion
- Source originale
- Liens de référence
Créer un dataset de langage naturel nécessite de la prudence, car même de petits changements de mots peuvent changer leur sens. Ce problème est particulièrement visible dans des tâches comme poser des questions et avoir des Conversations. On le retrouve aussi dans des tâches de catégorisation, comme classifier des sujets ou analyser des émotions. Les conversations en libre domaine impliquent deux personnes ou plus parlant librement de n'importe quel sujet. Rassembler ce type de données peut être difficile pour deux raisons principales : d'abord, le dataset doit être spécialement conçu en raison de préoccupations de confidentialité, et ensuite, les conversations payées peuvent ne pas refléter comment les gens se comportent dans la vraie vie.
Dans cette étude, on aborde ces défis en créant un dataset de dialogue de persona à grande échelle en libre domaine. Ici, "persona" désigne des conversations réalisées par différents acteurs avec des caractéristiques définies et par des utilisateurs d'un public général.
Le Rôle de la Persona dans les Conversations
Les chatbots modernes ont souvent une persona spécifique conçue pour les rendre plus humains. Des traits comme la personnalité, la mémoire et les émotions sont pris en compte pour engager les utilisateurs et encourager des conversations plus longues. Cependant, ces agents basés sur des Personas rencontrent des défis. Ils doivent se souvenir des conversations passées et maintenir un caractère cohérent pour répondre de manière appropriée. Par exemple, un agent qui joue le rôle d'un lycéen qui aime jouer du piano pourrait avoir des problèmes s'il est interrogé sur ses expériences en tant que femme de carrière. De plus, l'attitude de l'agent dans une conversation doit rester constante ; un changement soudain vers un comportement froid peut rendre l'interaction maladroite. Tous ces aspects sont importants pour assurer le bon déroulement de la conversation.
Pour aider les agents à maintenir les conversations sans accroc, différentes stratégies sont nécessaires. Ces stratégies incluent vérifier la compréhension, générer des réponses, engager des petites discussions ou avoir des instructions de secours. Ces stratégies se concentrent sur le fonctionnement de la conversation plutôt que sur les aspects cognitifs et émotionnels de l'agent, comme maintenir un sens de soi ou éviter les contradictions avec des déclarations antérieures. Par conséquent, on pense qu'il est utile de construire un dataset de dialogue où l'agent reste fidèle à sa persona tout au long de la conversation. Mais créer un tel dataset n'est pas aussi simple que de rassembler des données de conversation ordinaires.
Pourquoi Créer un Dataset de Dialogue Est Difficile
Faire un dataset de dialogue avec deux ou plusieurs intervenants est difficile, car une conversation réussie repose sur plusieurs conditions, comme trouver un terrain d'entente, établir une relation et assortir les styles de communication. Cette difficulté augmente dans un dialogue en libre domaine sans sujet spécifique, car les intérêts des Participants peuvent varier énormément, entraînant des abandons de conversation rapides.
Utiliser des stratégies tirées de Dialogues axés sur des tâches, comme des méthodes Wizard-of-Oz ou le jeu auto-joueur, est un défi. Les manuels peuvent ne pas couvrir la grande variété de sujets dans les dialogues en libre domaine. Le jeu auto-joueur peut limiter le contenu et la naturalité de la conversation. Ainsi, avoir plusieurs intervenants est crucial pour les dialogues en libre domaine.
Dialogue Persona en Libre Domaine
Quand plusieurs intervenants discutent, ils parlent généralement de sujets quotidiens pour partager des informations ou renforcer des liens sociaux. Dans cette situation, les deux partis jouent un rôle égal pour garder la conversation vivante. Cependant, si une personne est assignée pour interagir avec ceux qui s'approchent d'elle, comme un chatbot ou un personnage non jouable dans les jeux vidéo, la relation et les rôles peuvent différer des paramètres habituels. Cela représente un type unique de dialogue de persona.
Des travaux antérieurs ont étudié les dialogues de persona et créé des interactions représentatives en libre domaine. Plusieurs datasets existent en utilisant une approche de double jeu parmi les participants. Bien que 'persona' signifie traditionnellement une identité sociale à long terme d'un intervenant, de nombreuses études se sont concentrées sur la création de scénarios spécifiques avec des traits limités pour chaque dialogue. Les participants ont ensuite été instruits de respecter ces conditions lors de la phase de dialogue. Cette approche génère une large gamme de conditions de persona et de conversations, mais manque des caractéristiques sous-jacentes nécessaires pour établir des relations ou des amitiés. On croit qu'un autre type de jeu de rôle est nécessaire pour construire un dataset de dialogue de persona qui capture les caractéristiques sociales à long terme tout en évitant toute impolitesse ou offense, car de tels comportements pourraient nuire au bien-être mental des participants.
Notre Étude
Cette étude se concentre sur la création d'un dataset de dialogue de persona à grande échelle en libre domaine en coréen, garantissant une expérience de conversation sûre et authentique pour les participants. Notre étude a trois composantes principales :
Cadre
On établit d'abord un cadre où des participants de persona conversent avec des participants utilisateurs, avec les utilisateurs initiant la conversation basée sur des profils de persona. On prépare des directives de conversation pour les deux partis, en assignant plus de responsabilités aux participants de persona. Ils passent des entretiens pour se qualifier en tant qu'acteurs et participer aux dialogues.
Collecte
Après avoir mis en place le cadre, on fait de la publicité sur une plateforme de crowdsourcing pour recruter des participants utilisateurs intéressés par des discussions avec des acteurs. Les utilisateurs envoient le premier message pour commencer les conversations, et une application web est créée pour permettre aux participants de converser tout en permettant aux gestionnaires de surveiller les dialogues pour la modération.
Analyse
Après chaque dialogue, les participants remplissent un questionnaire mesurant leur satisfaction par rapport à la conversation, couvrant des facteurs comme le plaisir, la convivialité et la connexion. On interviewe également les acteurs et les Modérateurs pour recueillir leurs impressions en vue d'améliorer notre stratégie et notre durabilité.
En utilisant ces méthodes, on vise à démontrer comment notre approche aide à créer un dataset de dialogue de persona à grande échelle en libre domaine avec un petit groupe d'acteurs et de participants utilisateurs. Cela offre aux deux groupes une expérience enrichissante dans un modèle de dialogue rémunérateur. On a préparé trois questions de recherche :
RQ 1 : Quels facteurs doivent être pris en compte dans la création d'un dataset de dialogue réussi ? Quels éléments sont cruciaux pour les dialogues de persona, et quels défis sont rencontrés ?
RQ 2 : Quel rôle joue le modérateur dans la construction d'un dataset de dialogue à grande échelle ? En quoi ce rôle se distingue-t-il de la modération d'autres datasets de langage ?
RQ 3 : Ces considérations mèneront-elles à un processus de construction et à un résultat réussi ? Les participants trouveront-ils l'expérience satisfaisante tout en assurant une diversité de caractéristiques de persona dans le dataset ?
Travaux Connexes
Datasets de Conversation
Le dialogue a été un domaine de recherche majeur, avec des méthodes de construction évoluant au fil du temps. Les premières approches extrayaient des scripts de conversations réelles avec un minimum de raffinement. Les méthodes récentes créent des dialogues de zéro tout en ajoutant des balises pertinentes.
Switchboard est un corpus de conversations téléphoniques enregistrées préliminaire couvrant des sujets prédéfinis. Il comprend 2 500 conversations de 500 intervenants à travers les États-Unis et inclut des transcriptions synchronisées pour une référence facile. Bien que des analyses supplémentaires aient élargi la portée du dataset, il a maintenant plus de 30 ans, ce qui le rend quelque peu obsolète. De plus, des questions de consentement des utilisateurs entrent en jeu, car collecter des conversations aléatoires soulève des problèmes de confidentialité et de licence.
Dailydialog, en revanche, présente des dialogues écrits par des humains, moins bruyants, reflétant des interactions quotidiennes, couvrant des sujets comme la vie scolaire, le travail, les voyages et les relations. Le dataset est enrichi d'étiquettes émotionnelles et d'actes de dialogue, fournissant des informations analytiques précieuses. Cependant, les données ont été recueillies sur divers sites destinés aux apprenants d'anglais, aboutissant à des dialogues qui peuvent sembler trop formels et manquer des caractéristiques personnelles des intervenants distincts.
Travaux sur le Dialogue Persona en Libre Domaine
Le chat libre généré par des agents de conversation en libre domaine est devenu de plus en plus cohérent et engageant. Toutefois, les modèles existants peinent souvent à produire de longues conversations, répétant fréquemment les déclarations des utilisateurs et perdant le fil des échanges précédents.
Les modèles génératifs ont également été connus pour présenter des informations erronées, car ils ne peuvent pas se connecter à des connaissances externes en dehors de leurs paramètres d'entraînement. Les efforts récents incluent des jeux de rôle humains, la création de plus de mille ensembles de personas, le maintien de longues conversations et la production de réponses empathiques.
Le dataset PersonaChat consiste en échanges de bavardages personnels basés sur des profils de persona spécifiques. Ce dataset est catégorisé en trois phases : création de designs de persona, affinage de ceux-ci et engagement dans des conversations dirigées par des personas. Chaque persona est composée de cinq phrases réécrites pour minimiser les redondances, aboutissant à plus de 160 000 énoncés créés par des travailleurs de foule.
Dialogues Empathiques et Wizard of Wikipedia
Le dataset Empathetic Dialogues présente des données de dialogue mettant en avant des réponses empathiques des auditeurs lorsque les orateurs utilisent des phrases émotionnelles spécifiques. Le dataset Wizard of Wikipedia consiste en textes extraits d'articles de Wikipedia, les travailleurs dans des rôles d'experts discutant de divers sujets, chacun associé à une phrase de Wikipedia. Les modèles entraînés sur ces données peuvent incorporer des connaissances d'Internet dans des conversations libres. Cependant, générer des dialogues naturels et engageants reste un défi, avec une satisfaction des utilisateurs souvent pas alignée avec des scores d'engagement élevés. Des traits clés comme la personnalité et l'empathie chez les agents interactifs doivent être correctement définis pour favoriser des interactions intéressantes.
Chat Multi-Sessions
Le chat multi-sessions inclut des interactions entre des travailleurs humains où les conversations sont interrompues et reprises sur de longues périodes, parfois s'étalant sur plusieurs heures à plusieurs jours. Les dialogues plus courts gérés par les modèles en libre domaine peinent à maintenir la mémoire, créant un besoin de modèles capables de gérer des contextes plus longs. Chaque épisode inclut un bref résumé des dialogues précédents, permettant à un participant de suivi de se rappeler des discussions antérieures. Un modèle génératif entraîné avec ce dataset a produit des réponses plus cohérentes, mais simplement s'entraîner sur la mémoire à long terme et les résumés n'a pas garanti une augmentation des scores d'engagement des utilisateurs.
D'autres recherches sont nécessaires pour identifier les caractéristiques des conversations qui attirent et engagent les utilisateurs.
Procédure de Construction de Données
Notre processus de construction de données se compose de quatre étapes : directives de conversation, étude pilote, recrutement d'acteurs et collecte de dialogues.
Directives de Conversation
Dans ce projet, on définit les personas comme les acteurs participants et les utilisateurs comme des participants travaillant en foule. Des directives de conversation complètes sont créées pour les deux côtés. Bien que la structure générale soit similaire, les personas nécessitent des instructions plus détaillées.
Le côté persona doit avoir un profil représentant le participant, couvrant un domaine plus large que les définitions typiques de persona. Ce profil inclut le nom de la persona, une image, et au moins trois qualités. La persona peut être n'importe quoi, d'humain à mythique, tant que les participants peuvent jouer de manière cohérente leurs caractéristiques assignées. Cependant, les profils doivent éviter toute information personnelle ou sujets controversés politiquement ou socialement. L'image de profil doit être en accord avec la persona tout en respectant les politiques de licence.
Les profils de persona sont partagés avec les utilisateurs, qui choisissent quelle persona ils veulent converser avec. Les utilisateurs commencent la conversation, et les acteurs de persona sont censés continuer la discussion.
À Faire et À Éviter
Tous les participants doivent :
- Être respectueux et se rappeler qu'ils conversent avec un autre être ayant des pensées et des sentiments.
- Être polis, peu importe le degré de formalité requis.
- Être sincères et essayer de se rappeler le contexte de la conversation.
- Coopérer en discutant de sujets qui intéressent les deux parties.
Les participants ne doivent pas :
- Demander des détails personnels à moins que l'autre personne ne les divulgue.
- Inclure des informations sensibles qui pourraient causer du tort si le dataset est rendu public.
- Utiliser des discours haineux ou des commentaires ancrés dans des biais sociaux ou de la toxicité.
Stratégies de Conversation
Pour assurer des conversations fluides, des recommandations spécifiques sont fournies aux acteurs de persona. Les stratégies incluent :
- Utiliser la situation pour guider les réponses sans révéler d'informations personnelles.
- Réviser l'historique de la conversation pour déterminer comment poursuivre.
- Anticiper les sujets que l'utilisateur pourrait trouver engageants.
- Utiliser des informations de fond si représentant une profession spécifique.
- Offrir des histoires personnelles pour maintenir la connexion et vérifier la cohérence.
Bien que les acteurs soient encouragés à suivre la conversation menée par l'utilisateur, ils devraient souvent partager leurs propres récits pour confirmer la cohérence de leur persona.
Les utilisateurs reçoivent également des instructions spéciales. Ils peuvent mentionner des célébrités spécifiques, des marques ou des œuvres d'art, à condition de ne pas critiquer durement ou faire de la publicité. Les utilisateurs doivent éviter d'initier des sujets qui pourraient perturber le flux de la conversation. Les insultes ou le harcèlement sont inacceptables, et même les malentendus potentiels doivent être évités.
Ces directives sont flexibles et applicables à divers groupes d'utilisateurs et plateformes de crowdsourcing, avec des instructions supplémentaires concernant le temps de participation et les restrictions de discussion présentées pendant la phase de collecte de dialogues.
Étude Pilote
Un objectif clé de cette étude est de discerner les caractéristiques de la conversation entre des personas spécifiques et des utilisateurs. Une étude pilote a été réalisée impliquant un petit groupe de participants.
Trois acteurs et cinq participants utilisateurs, principalement des chercheurs et des étudiants de premier cycle intéressés par le projet, ont été invités à participer à la pilote. Chaque acteur a préparé un profil et a reçu des instructions, tandis que les utilisateurs ont également reçu des directives.
Kakaotalk, une application de messagerie populaire en Corée, a servi de plateforme pour l'étude pilote. Chaque acteur a créé un profil anonyme incluant leur nom, image et une description courte. Le profil a été partagé avec les utilisateurs, qui ont initié la conversation sur la base des profils.
Les acteurs ont été indemnisés d'environ 12 $ par dialogue, tandis que la participation des utilisateurs était volontaire. Chaque dialogue s'est terminé lorsque les deux participants ont convenu de finir, et les utilisateurs ont été sondés par la suite pour mesurer des aspects comme la convivialité et l'engagement.
Résultats de l'Étude Pilote
À partir de l'analyse, on a obtenu plusieurs insights :
- Les utilisateurs trouvaient un dialogue ou une persona attrayante si la conversation était centrée sur des concepts engageants.
- Les expressions d'empathie, comme le partage d'expériences et l'appréciation, contribuaient positivement à la perception des utilisateurs.
- Un équilibre entre auto-divulgation, questionnement et empathie est crucial pour des conversations fluides.
- Une grande cohérence et des traits de persona significatifs ne garantissent pas toujours des dialogues engageants.
Recrutement d'Acteurs
Pour la collecte principale des dialogues, on recrute des acteurs représentant les personas. Environ 20 acteurs ont postulé, et 11 ont été sélectionnés via des entretiens. Cette étape impliquait un modérateur qui facilitait les connexions entre les acteurs et les utilisateurs, gérant les sources et éduquant les participants.
Le modérateur a considéré plusieurs critères lors de la sélection des acteurs, y compris :
- L'attrait du concept de persona.
- Capacité à engager une conversation fluide.
- Capacité à maintenir l'intérêt au fil du temps.
- Naturelle de l'auto-divulgation.
- Sincérité et empathie dans les réponses.
Après délibération, les chercheurs ont approuvé 11 acteurs, dont les profils ont été partagés avec le public pour inciter à l'implication.
Collecte de Dialogues
Dans la phase principale de collecte de données, les acteurs recrutés conversent avec les utilisateurs en temps réel. Une plateforme de chat différente est utilisée, incorporant d'autres instructions pertinentes pour construire des datasets à grande échelle.
La plateforme du projet est structurée pour ouvrir des salles de chat individuelles entre utilisateurs et acteurs. Les modérateurs surveillent ces salles, résolvant les conflits et s'assurant que les directives sont respectées. Chaque message envoyé par un utilisateur déclenche une nouvelle ligne dans le chat, avec un suivi des réponses prenant place via des horodatages.
Les utilisateurs entrent dans le projet sur la base d'annonces de persona. La charge de travail de chaque acteur peut varier et il n'y a aucune obligation pour un utilisateur de converser avec tous les acteurs. Cependant, les utilisateurs ont été informés que les réponses des acteurs pourraient parfois être retardées, et ils devraient fournir des remarques de clôture pour éviter que les acteurs n'attendent indéfiniment.
Les directives de conversation pour les acteurs et les utilisateurs suivent la structure de la pilote mais incluent des mises en garde spécifiques pour les utilisateurs afin d'assurer l'intégrité et la cohérence des données.
Durée Artificielle
Pour enrichir les interactions, les acteurs sont instruits d'insérer des durées artificielles après au moins quatre tours de conversation. Ces pauses peuvent durer de quelques heures à plusieurs jours, permettant aux participants de naviguer dans les conversations plus naturellement.
L'introduction de durées artificielles sert deux objectifs. Elle aide à générer des discussions à long terme qui seraient autrement limitées par des délais et permet aux acteurs de faire des pauses durant des échanges fatigants. Ainsi, la durée artificielle peut également servir de doux rappel aux utilisateurs que les conversations doivent rester engageantes.
Chaque conversation est traitée comme un événement indépendant, ce qui signifie que les acteurs n'ont pas besoin de maintenir le même historique de dialogue pour chaque utilisateur. L'objectif d'inclure une durée artificielle est de créer un flux de conversation plus authentique, permettant aux utilisateurs de s'adapter naturellement aux intervalles de temps mentionnés.
Système de Récompense
Pour assurer un cadre d'incitation approprié, les acteurs sont guidés pour compléter un certain volume de dialogues (environ 300 par acteur) dans environ six semaines ou être indemnisés pour chaque dialogue. Ce dispositif souligne un emploi rémunéré pour eux, garantissant que la productivité est moins influencée par leur volonté de s'engager.
Les utilisateurs reçoivent également un système de récompense, car la participation aux conversations est liée à des incitations. Les dialogues sont clairement définis impliquant des tours et des phrases, garantissant que chacun comprend ses contributions.
- Un dialogue consiste en 15 à 30 tours, commençant par un salut de l'utilisateur et se terminant par une déclaration de clôture, incluant au moins trois durées artificielles.
- Chaque tour comprend deux échanges entre le acteur et l'utilisateur.
- Les utilisateurs reçoivent une compensation pour avoir complété des dialogues en fonction de leurs niveaux d'engagement.
Après avoir terminé une conversation, les utilisateurs et les acteurs remplissent des enquêtes relatives à leurs expériences. Les évaluations aident à affiner le processus d'interaction et à motiver les participations futures.
Flux du Projet
Le projet global est structuré autour de trois parties prenantes : les chercheurs qui développent les directives, la plateforme (modérateur) qui facilite les connexions, et les participants qui s'engagent dans le dialogue. Chaque interaction commence par un salut de l'utilisateur, adapté pour refléter les caractéristiques de la persona, suivi d'un échange de tours.
Les utilisateurs naviguent à travers les conversations, les terminant volontairement ou lorsqu'ils se sentent fatigués. Les enquêtes post-conversation fournissent des insights sur la satisfaction et les axes d'amélioration. L'intégralité du projet se termine lorsque les acteurs atteignent leurs quotas de dialogue.
Pour garantir la reproductibilité dans le schéma proposé, des entretiens ont été menés avec le modérateur et quatre acteurs sélectionnés pour évaluer l'efficacité de notre stratégie.
Retours des Acteurs
Caractéristiques des Dialogues de Persona
Les acteurs ont noté une différence notable entre les conversations habituelles avec la famille ou les amis et leurs rôles dans ce projet. Ils ont ressenti la responsabilité de maintenir les dialogues en cours, ce qui les a amenés à faire des choix de langage réfléchis en se connectant avec les utilisateurs.
Défis à S'engager avec de Réels Utilisateurs
Les acteurs ont rapporté se sentir débordés par le volume de conversations qu'ils devaient gérer simultanément. Ils ont rencontré des défis lors d'interactions avec des utilisateurs montrant de l'impolitesse ou de l'insensibilité, entraînant des sentiments de stress et de frustration.
Opinions sur la Durée Artificielle
L'utilisation de la durée artificielle a été jugée bénéfique par certains acteurs, qui l'ont utilisée pour faire des pauses ou rattraper leur travail. Cependant, ils ont exprimé un souhait de moins de rigidité concernant la fréquence de ces pauses.
Difficulté à Maintenir la Persona
Les acteurs ont noté qu'il était difficile de répondre à des questions répétitives des utilisateurs basées sur leurs profils. La préparation était vitale pour maintenir la cohérence et l'authenticité dans leurs rôles.
Impact du Projet sur les Conversations Réelles
Certains acteurs ont rapporté ajuster leurs interactions réelles en fonction de leurs expériences dans le projet. Ils ont commencé à partager plus d'informations personnelles et à être plus réactifs dans leurs conversations quotidiennes.
Retours du Modérateur
Défis d'Organisation de la Collecte de Dialogue de Persona à Grande Échelle
Le principal défi du modérateur résidait dans la motivation des acteurs et la compréhension de leurs états émotionnels durant les conversations. Une communication fréquente était cruciale pour aider les acteurs à se sentir soutenus, car l'impact émotionnel de la gestion des interactions avec les utilisateurs était parfois négligé.
Conseils sur le Recrutement d'Acteurs et la Compensation
Le processus de recrutement a combiné les idées des chercheurs et des modérateurs. Le modérateur a souligné l'importance d'une communication ouverte, permettant aux acteurs de partager leurs véritables sentiments sur le processus, ce qui a finalement favorisé la relation.
Reproductibilité du Projet
Le modérateur a estimé que sa charge de travail était gérable, facilitant les connexions et résolvant les conflits plutôt qu'effectuant tous les devoirs seul. L'empathie a joué un rôle clé pour garantir un processus fluide, renforçant l'importance de choisir le bon modérateur.
Analyse des Enquêtes
On a analysé les enquêtes recueillies auprès des participants après les dialogues, totalisant 1 658 réponses. La corrélation de Spearman a mesuré le lien entre les statistiques de dialogue et les résultats des enquêtes. Les résultats ont révélé que les expériences des utilisateurs et des acteurs différaient significativement, mais des facteurs partagés étaient corrélés fortement, comme le plaisir et la sympathie.
Les acteurs ont exprimé une vue négative des conversations marquées par de nombreuses interruptions. Cependant, les utilisateurs semblaient apprécier les conversations qui incluaient des pauses, indiquant une relation complexe entre le flux de dialogue et la satisfaction des utilisateurs.
Regroupement par Sujet
À l'aide d'un outil d'analyse de mots, on a examiné le vocabulaire pour en tirer des thèmes communs au sein du dataset. Cette analyse a regroupé les conversations en huit sujets principaux, incluant les routines quotidiennes, la nourriture, le travail, les vacances, les pensées, la musique, les médias et les voyages.
Génération de Dialogue à Few-shot
On a cherché à montrer le potentiel d'utilisation des données dans les systèmes de dialogue modernes à travers des expériences de génération à few-shot. En utilisant des dialogues d'exemples comme requêtes d'entrée, on a exploré comment les dialogues générés s'alignaient avec les scripts originaux et les effets de l'incorporation d'informations de persona.
Grâce à nos essais, les sorties de conversation résultantes reflétaient étroitement les scripts originaux, avec des détails de persona améliorant la représentation des personnages dans le dialogue généré. Cette constatation suggère que notre dataset peut être utilisé efficacement dans de futurs systèmes de génération de dialogue.
Conclusion
Dans cette étude, on a décrit une méthode pour créer un dataset de dialogue de persona à grande échelle tout en détaillant le processus de construction, les entretiens avec les participants et les expériences de validation. Nos résultats ont abordé les défis des participants, le rôle des modérateurs et la satisfaction par rapport aux résultats.
On croit que créer un dialogue est un effort collaboratif qui bénéficie de l'engagement et de la satisfaction des participants, conduisant à des résultats de haute qualité. Notre recherche contribue aux efforts en cours dans le développement de datasets, visant des expériences positives pour toutes les parties impliquées.
Titre: When Crowd Meets Persona: Creating a Large-Scale Open-Domain Persona Dialogue Corpus
Résumé: Building a natural language dataset requires caution since word semantics is vulnerable to subtle text change or the definition of the annotated concept. Such a tendency can be seen in generative tasks like question-answering and dialogue generation and also in tasks that create a categorization-based corpus, like topic classification or sentiment analysis. Open-domain conversations involve two or more crowdworkers freely conversing about any topic, and collecting such data is particularly difficult for two reasons: 1) the dataset should be ``crafted" rather than ``obtained" due to privacy concerns, and 2) paid creation of such dialogues may differ from how crowdworkers behave in real-world settings. In this study, we tackle these issues when creating a large-scale open-domain persona dialogue corpus, where persona implies that the conversation is performed by several actors with a fixed persona and user-side workers from an unspecified crowd.
Auteurs: Won Ik Cho, Yoon Kyung Lee, Seoyeon Bae, Jihwan Kim, Sangah Park, Moosung Kim, Sowon Hahn, Nam Soo Kim
Dernière mise à jour: 2023-04-01 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2304.00350
Source PDF: https://arxiv.org/pdf/2304.00350
Licence: https://creativecommons.org/licenses/by-sa/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.