Classer les interactions avec des chatbots IA : l'approche d'AIDA

Dans le monde d'aujourd'hui, l'intelligence artificielle (IA) devient un outil clé dans plein de domaines, y compris les affaires. Un des développements cool, c'est l'utilisation des chatbots, qui sont des programmes conçus pour comprendre et répondre aux questions des humains. Un exemple notable est AIDA, un chatbot IA développé par une boîte dans le secteur automobile. Le but d'AIDA, c'est d'aider les utilisateurs à résoudre des problèmes et à répondre à des questions en ayant des Conversations qui ressemblent à celles des humains.

Cet article va parler de la manière dont AIDA classe les types de questions et de demandes qu'il reçoit. Les différentes interactions peuvent être regroupées en trois grandes catégories : Conversations, Services, et Traductions de Documents. Quand les utilisateurs interagissent avec AIDA, c'est important de diriger leurs demandes vers la bonne catégorie pour offrir un meilleur soutien et service.

#Comprendre les Types d'Interaction

1. Conversation : Cette catégorie inclut des questions générales, des discussions informelles, des salutations, des demandes de résumés, et des questions sur la signification de mots dans différentes langues. Par exemple, si quelqu'un demande, "Quel temps fait-il aujourd'hui ?" ou "Tu peux résumer ce texte ?", ça tombe sous la Conversation.

2. Services : Cette catégorie regroupe des demandes explicites pour divers services. Si un utilisateur demande de l'aide pour réserver un hôtel, faire une réservation de restaurant, ou obtenir des informations sur des attractions touristiques, ces demandes sont ici.

3. Traduction de documents : Cette catégorie concerne les demandes de traduction de documents écrits dans une autre langue. Contrairement à la catégorie Conversation, ces demandes ne concernent pas le résumé du texte ; elles se concentrent uniquement sur la traduction d'un document spécifique.

En identifiant correctement à quelle catégorie appartient une demande, AIDA peut répondre de manière plus précise et efficace aux besoins de l'utilisateur.

#L'Importance de la Classification

Classer les interactions humaines est essentiel pour s'assurer qu'AIDA peut offrir le meilleur service possible. En comprenant le type d'interaction, l'IA peut allouer correctement les ressources et améliorer l'expérience utilisateur. Ça veut dire que si quelqu'un demande une traduction de document, AIDA sait rediriger cette demande vers le service de traduction au lieu de répondre à une question générale.

#Données Utilisées pour la Classification

Pour créer un système capable de classer ces interactions, un ensemble de données de 1 668 exemples a été utilisé. Ces exemples ont été divisés en deux parties : 666 ont servi à entraîner le modèle, et les 1 002 restants ont été réservés pour les tests. L'ensemble d'entraînement est utilisé pour apprendre à l'IA à reconnaître différents types d'interactions, tandis que l'ensemble de test évalue à quel point elle a bien appris.

#Différentes Approches de Classification

Plusieurs méthodes ont été explorées pour classer les interactions humaines. Le but était de trouver la meilleure approche pour identifier avec précision le type d'interaction tout en assurant l'efficacité dans le traitement des demandes.

1. Classificateurs Basés sur des LLM : La première méthode a consisté à utiliser un grand modèle de langage (LLM) pour classer les interactions en fonction des significations des mots dans les demandes. Deux approches basées sur LLM ont été examinées. La première reposait sur des définitions simples pour chaque type d'interaction, tandis que la deuxième utilisait des exemples supplémentaires pour aider le modèle à mieux apprendre.

2. K-Nearest Neighbors (KNN) : Cette méthode cherchait à voir à quel point différentes interactions étaient similaires les unes aux autres. KNN trouve les exemples les plus proches d'une nouvelle entrée et attribue l'étiquette la plus commune parmi ces exemples. Elle convertit les interactions textuelles en formes numériques à l'aide d'embeddings, ce qui aide à mesurer leurs similarités.

3. Support Vector Machines (SVM) : SVM est une autre méthode basée sur la géométrie. Elle essaie de séparer différentes catégories d'interactions dans un espace défini par les caractéristiques des demandes. Elle cherche la meilleure ligne (ou hyperplan) qui divise les différentes catégories.

4. Réseaux de Neurones Artificiels (ANN) : L'approche ANN est modélisée sur le fonctionnement du cerveau humain. Elle peut apprendre des motifs complexes dans les données. Dans ce cas, les données d'entrée doivent être normalisées pour améliorer les performances. Le modèle se compose de plusieurs couches qui l'aident à traiter l'information et à apprendre des données d'entraînement.

#Comparaison des Méthodes

Après avoir testé ces différents modèles, il est devenu clair que certains fonctionnaient mieux que d'autres. Les modèles SVM et ANN ont été trouvés comme étant les plus performants, surtout quand ils utilisaient des embeddings d'un modèle appelé COHERE.

• SVM avec Embeddings COHERE a obtenu d'excellents résultats dans les trois types d'interaction : Conversation, Services, et Traduction de Documents. Il a livré un niveau élevé de précision tout en complétant les demandes rapidement.

• ANN avec Embeddings COHERE a aussi bien fonctionné, montrant une bonne précision, même si cela nécessitait un peu plus de traitement pour préparer les données d'entrée.

• Les modèles LLM, bien que prometteurs, n'ont pas performé aussi bien que SVM ou ANN, en particulier dans la catégorie Services. Cependant, fournir des exemples au LLM a amélioré sa capacité à comprendre les demandes liées à la Traduction de Documents.

#Temps d'Exécution

Un autre aspect important examiné était le temps que chaque modèle mettait pour donner une réponse. Pas surprenant, les modèles KNN, SVM, et ANN offraient des réponses plus rapides comparés aux modèles LLM. Ça veut dire que pour des applications où la vitesse est essentielle, KNN, SVM, et ANN seraient des options plus adaptées.

• Les modèles KNN et SVM prenaient en moyenne environ 0,3 à 0,35 secondes pour chaque réponse.
• Le modèle ANN était encore plus rapide, avec une moyenne d'environ 0,15 secondes.
• En revanche, le LLM nécessitait un temps considérablement plus long, avec des réponses d'environ 1,2 secondes sans exemples et autour de 18 secondes avec des exemples.

#Conclusion

Pour conclure, l'étude a montré que classer les interactions est un composant vital pour le fonctionnement d'AIDA, le chatbot IA. Les modèles les plus performants pour classer ces interactions étaient le SVM et l'ANN utilisant des Embeddings COHERE, car ils offraient un bon mélange de précision et de temps de réponse. Il est devenu évident que comprendre le type d'interaction aide à fournir un meilleur service aux utilisateurs, en s'assurant que leurs besoins sont satisfaits rapidement.

Pour aller de l'avant, cette recherche guidera le choix des modèles et des stratégies appropriés pour les applications IA dans divers domaines, améliorant davantage l'expérience d'interaction entre les humains et les machines. Avec les avancées en technologie IA, comme les approches discutées, l'avenir semble prometteur pour une communication plus précise et efficace à travers les chatbots.