L'IA apprend à prédire les intentions de parole

Les humains peuvent souvent savoir quand quelqu'un est sur le point de parler. C'est une compétence utile dans plein de situations, surtout quand un robot ou une IA aide à guider les conversations. L'objectif de cette recherche, c'est d'apprendre à l'IA à reconnaître quand les gens veulent parler, en se basant sur des données provenant d'Accéléromètres, qui mesurent le mouvement. Utiliser des accéléromètres, c'est un bon choix parce que ça respecte la vie privée des gens et c'est facile à utiliser dans des situations réelles avec des dispositifs comme des badges intelligents.

Dans cette étude, on a utilisé des données d'un vrai événement social pour entraîner un modèle d'apprentissage automatique à identifier quand quelqu'un veut parler. On a marqué certains moments où les gens voulaient parler mais n'ont pas eu l'occasion. Le modèle a été entraîné à reconnaître les tentatives de prise de parole réussies et testé sur des tentatives réussies et ratées. On a découvert qu'il y a des infos dans les données des accéléromètres sur les intentions de parler, mais pas assez pour faire des prédictions précises. Par exemple, les gens changent souvent de posture quand ils veulent parler, mais ils changent aussi de posture pour d'autres raisons et peuvent vouloir parler sans bouger. Cela suggère qu'on pourrait avoir besoin d'autres méthodes pour aider l'IA à mieux prédire quand quelqu'un est sur le point de parler.

#Introduction et Motivation

Si l'IA pouvait comprendre quand quelqu'un veut parler, ça pourrait aider dans diverses situations sociales. Par exemple, un robot pourrait mener une discussion de groupe et reconnaître quand quelqu'un souhaite contribuer mais n'en a pas l'occasion. Ça pourrait rendre les conversations plus productives, permettant à tout le monde de partager ses idées.

Une IA qui reconnaît les intentions de parler pourrait aussi aider les personnes timides à se sentir plus incluses et engagées dans les discussions. Ça soutient de meilleures dynamiques de groupe et garantit que chacun a sa chance de participer. Pas mal de systèmes IA différents pourraient bénéficier de cette capacité, surtout les robots sociaux qui facilitent les conversations. Si un robot peut remarquer quand quelqu'un semble prêt à parler, il pourrait doucement les inciter à partager leurs pensées, rendant la discussion plus agréable.

Prédire le prochain à parler est un peu différent de détecter les intentions de parler. Ça se concentre non seulement sur quand quelqu'un a l'intention de parler, mais aussi sur quand il manque des occasions de le faire. Prédire ces intentions est compliqué parce qu'elles viennent souvent de sentiments personnels plutôt que de signaux clairs. Alors que certains indices sociaux pourraient indiquer que quelqu'un est prêt à parler, toutes les intentions ne sont pas visibles. La recherche existante s'est surtout concentrée sur prédire qui parlera ensuite plutôt que sur les intentions de parler.

Actuellement, il n'y a pas beaucoup de techniques visant à détecter ces intentions en dehors des environnements de laboratoire. Cette recherche vise à combler le fossé entre prédire qui va parler ensuite et comprendre les intentions derrière le besoin de parler.

#Travaux Connus

Cette étude se rapporte à trois domaines de recherche : le tour de parole dans les conversations, prédire qui va parler ensuite et comprendre les intentions de parole individuelles. La plupart des recherches se sont concentrées sur la gestion des tours de conversation et la prédiction du prochain intervenant, avec moins d'études visant les véritables intentions de parler.

#Gestion des Tours de Parole

Gérer les tours de parole est crucial pour des discussions interactives et implique des comportements sociaux complexes. Des études ont examiné comment les tours de parole sont organisés pendant les conversations. Il est courant que les conversations aient de brèves overlaps avec plus d'un intervenant, et diverses techniques peuvent aider à gérer ces transitions.

Certaines recherches ont identifié des indices sociaux, appelés signaux d'initiation de tour, qui sont associés à la prise de parole. Par exemple, détourner le regard ou faire des mouvements de lèvres se produit souvent avant que quelqu'un prenne la parole. Ces indices peuvent être des indicateurs clés et, lorsqu'ils sont combinés, peuvent aider à prédire qui parlera ensuite.

#Intentions Humaines

La recherche en sciences sociales souligne à quel point les humains sont bons pour inférer les intentions des autres à partir de leurs actions. Les gens simulent souvent ce qu'ils observent chez les autres pour estimer ce qu'ils pourraient penser. Savoir comment les humains interprètent les intentions des uns et des autres peut aider à construire des Modèles qui prédisent mieux les intentions de parler.

Une étude s'est concentrée sur l'identification des intentions de prise de parole non réalisées en observant les motifs de respiration, suggérant que la respiration peut indiquer si quelqu'un souhaite prendre son tour. Bien que les indices de respiration puissent être subtils, ils peuvent fournir des informations utiles.

#Techniques de Prédiction du Prochain Intervenant

De nombreuses méthodes existantes pour prédire qui parlera ensuite s'appuient sur des indices verbaux et non verbaux. En examinant ces techniques, on peut récolter des infos sur comment détecter les intentions de parler. Certaines recherches ont exploré les motifs de respiration et d'ouverture de bouche pour prédire les transitions de parole. Il a été démontré que les motifs de respiration changent selon que l'intervenant garde son tour ou le passe à quelqu'un d'autre.

Utiliser plusieurs indices ensemble, comme la direction du regard, peut améliorer les prédictions. Par exemple, quand un intervenant regarde un auditeur, ça encourage souvent une réponse, montrant la connexion entre le comportement de regard et le comportement de parole.

#Question de Recherche

Cette recherche cherche à déterminer à quel point les données des accéléromètres peuvent prédire les intentions de parole dans des situations réelles. La question principale s'intéresse à savoir si les données des accéléromètres peuvent identifier efficacement les intentions de parole réussies et non réussies.

Pour mieux comprendre cela, on a deux sous-questions :

1. À quel point les données des accéléromètres peuvent-elles prédire des intentions de parole réussies ?
2. À quel point peuvent-elles prédire des intentions de parole non réussies ?

Dans notre recherche, on définit les "intentions de parler" spécifiquement comme l'intention de prendre la parole et parler à voix haute, en ignorant des signaux comme les canaux de retour.

Pour tester nos sous-questions, on propose deux hypothèses :

1. Un modèle entraîné avec des données d'accéléromètres montrant des intentions de parole réussies performera mieux que le hasard.
2. Un modèle entraîné avec les mêmes données sera aussi meilleur pour prédire des intentions de parole non réussies comparé à des suppositions aléatoires.

Le hasard représente la référence qu'on utilise pour vérifier si les données des accéléromètres ont des infos utiles sur la détection des intentions de parler.

#Approche Expérimentale

On a commencé par se concentrer sur l'inférence des intentions de parole réussies et ensuite regardé les intentions non réussies. Au début, on a essayé de construire un modèle basé sur des techniques existantes pour prédire le prochain intervenant, mais on a trouvé ça inadapté à nos objectifs. Au lieu de ça, on a adapté un code existant pour n'utiliser que des données d'accéléromètres tout en respectant la vie privée.

On a supposé que les intentions de parler peuvent être traitées directement comme une question oui ou non : soit quelqu'un veut parler, soit il ne veut pas. Pour évaluer notre modèle, on a examiné des cas classés comme des faux positifs, où il a prédit une chance de parler incorrectement. On a annoté des instances d'intentions de parole non réussies perçues pour analyser à la fois les intentions réussies et non réussies.

Dans notre étude exploratoire, on a examiné de près les données des accéléromètres pour découvrir des caractéristiques qui pourraient indiquer des intentions de parole. Grâce à nos observations, on a collecté des données d'un événement de réseautage social où les gens interagissaient librement.

#Extraction de Cas Réussis

Pour identifier les instances de prise de parole réussies, on a utilisé des données de microphones qui indiquent quand un participant parle. On a dû résoudre des problèmes comme :

1. Les microphones captent des bruits de fond.
2. Les courtes réponses de retour sont comptées comme de la parole complète.
3. Malclassification due à de brèves pauses pendant que quelqu'un parle encore.

Une fois qu'on a traité les données des microphones, on a extrait des fenêtres temporelles montrant des intentions de commencer à parler. Ça impliquait de trouver des moments dans les données où quelqu'un a commencé à parler et de marquer les moments précédant cela.

#Extraction de Cas Non Réussis

Pour comprendre les intentions de parole non réussies, on a annoté un segment audio spécifique de 10 minutes de l'événement. Pendant ce temps, on a noté quand les participants avaient l'intention de parler mais n'ont pas pu, en les étiquetant comme des intentions de début ou de continuation.

On a enregistré divers indices indiquant que quelqu'un voulait parler, comme des changements de posture ou des signaux audibles comme des claquements de lèvres. Après avoir terminé les annotations, on les a converties en un format utilisable pour notre analyse.

#Le Modèle

Pour répondre à nos questions principales et tester nos hypothèses, on a adapté un modèle qui combinait initialement des données d'accéléromètres, audio et vidéo. Cependant, pour notre recherche, on s'est concentré uniquement sur les données des accéléromètres.

Le modèle traite des intervalles de temps d'enregistrements d'accéléromètres avant que quelqu'un ne parle, étiquetés comme exemples positifs. On a établi des intervalles de temps spécifiques pour voir quelle durée produisait les meilleures prédictions, en s'assurant d'utiliser correctement les intervalles pour l'évaluation.

Pour déterminer la performance du modèle, on a mesuré l'aire sous la courbe ROC (AUC). Ce score aide à évaluer à quel point le modèle distingue bien les intentions de parole réussies et non réussies.

#Résultats de l'Étude Exploratoire et Annotations

D'après l'étude exploratoire, on a constaté que certains indices sociaux sont de bons indicateurs de quand les gens ont l'intention de parler. On a noté que des comportements comme claquer des lèvres ou se pencher plus près de quelqu'un indiquaient un désir de parler. De plus, le fait de se racler la gorge a aussi été perçu comme un signal initial pour parler.

#Évaluation Quantitative du Modèle

On a testé notre modèle sous différents intervalles de temps pour voir à quel point il pouvait efficacement prédire les intentions de parole. En utilisant quatre délais différents de 1 à 4 secondes, on pouvait comparer la performance du modèle selon différents scénarios.

Pour chaque cas-qu'il s'agisse de prédire toutes les intentions de parole, les intentions réussies, ou les intentions non réussies-on s'est assuré que les échantillons positifs correspondaient aux véritables instances de prise de parole et que les échantillons négatifs ne chevauchaient pas les périodes de parole.

#Analyse Statistique

Pour analyser la performance du modèle, on a utilisé des tests t pour comparer nos résultats à des suppositions aléatoires. On a vérifié si le modèle performait de manière significativement meilleure que le hasard.

Les résultats ont indiqué à quel point le modèle pouvait distinguer entre différentes intentions de parole et ont mis en lumière certaines tendances basées sur les différents délais que l'on a testés.

#Future Recherche

En se basant sur les résultats et limites de nos expériences, on suggère plusieurs pistes de recherche future. D'abord, augmenter le nombre d'intentions de parole non réussies annotées aiderait à affiner la précision du modèle. De plus, entraîner le modèle sur des échantillons réussis et non réussis ensemble pourrait fournir de meilleures insights.

On a aussi reconnu la nécessité d'optimiser davantage les paramètres du modèle. Incorporer d'autres modalités, comme l'audio ou la vidéo, pourrait améliorer la performance. En comprenant tous les indices menant aux intentions de parole, on pourrait construire un système plus robuste pour reconnaître quand les gens prévoient de parler.

#Considérations sur le Jeu de Données

Choisir un jeu de données approprié était crucial dès le début du processus de recherche. On a comparé quatre jeux de données en fonction de leurs caractéristiques, de la disponibilité des données d'accéléromètre, et des réglages pendant la collecte des données. En fin de compte, le jeu de données REWIND a été choisi pour ses enregistrements riches d'un événement de réseautage social où les individus communiquaient librement.

#Conclusion

Cette recherche s'est concentrée sur la prédiction des intentions de parole à l'aide de données d'accéléromètres. On a catégorisé les intentions en cas réussis et non réussis et annoté un sous-ensemble des cas non réussis. Nos expériences ont montré que les données d'accéléromètres pouvaient prédire à la fois des intentions de parole réussies et certaines intentions non réussies mieux que le hasard. Cependant, les résultats indiquent qu'il est nécessaire d'améliorer la fiabilité, et les travaux futurs devraient explorer des motifs plus explicites qui peuvent aider à inférer ces indices sociaux.