Utiliser l'IA pour aider au codage qualitatif

L'analyse qualitative aide les chercheurs à étudier et comprendre des infos complexes qu'on trouve dans des textes, comme des posts sur les réseaux sociaux ou des réponses à des enquêtes ouvertes. Une méthode courante pour analyser ces infos, c'est le Codage qualitatif. Ça consiste à étiqueter les données selon un ensemble de catégories ou de codes. Mais faire ça à la main peut prendre un temps fou, surtout quand on a beaucoup de réponses.

Des avancées récentes en intelligence artificielle (IA) ont permis de développer des outils pour aider dans l'analyse qualitative. Ces outils peuvent aider les chercheurs à repérer des motifs dans les données. Cependant, beaucoup de chercheurs n'ont pas forcément accès à ces outils d'IA ou les compétences nécessaires pour les utiliser efficacement.

Cet article parle de l'utilisation de Grands Modèles de Langage (LLMs), qui sont des systèmes d'IA avancés capables de comprendre et de générer du langage humain. On va se concentrer sur comment ces modèles peuvent aider dans le Codage déductif, un type spécifique d'analyse qualitative où les chercheurs utilisent des codes pré-définis pour étiqueter leurs données.

#C'est quoi le codage qualitatif ?

Le codage qualitatif est une méthode utilisée pour identifier des thèmes et des motifs dans les données. Ça permet aux chercheurs d'organiser une grande quantité d'infos en catégories gérables. Mais c'est souvent un casse-tête. Les chercheurs doivent passer au peigne fin les données et créer un système de codes qui représente bien les infos qu'ils essaient d'analyser. Ça demande souvent pas mal de temps et d'efforts, ce qui rend le truc encore plus difficile, surtout avec de gros jeux de données.

Pour faire du codage qualitatif, les chercheurs suivent généralement deux étapes principales : d'abord, ils créent un manuel de codes avec une liste d'étiquettes, et ensuite, ils utilisent ce manuel pour étiqueter leurs données. Le process peut devenir long et pénible, surtout quand les données sont nuancées et ouvertes à différentes interprétations.

#Défis actuels

Bien qu'il existe des outils d'IA pour aider dans l'analyse qualitative, ils viennent avec leurs propres défis. Certains de ces outils utilisent l'apprentissage non supervisé, ce qui veut dire qu'ils essaient de trouver des motifs dans les données tout seuls. Cependant, c'est pas évident à gérer, car les chercheurs peuvent avoir du mal à diriger ces outils vers leurs questions spécifiques.

D'un autre côté, les modèles supervisés, qui nécessitent des données d'entraînement étiquetées, peuvent aussi poser problème. Ils ont souvent besoin d'énormément de données de bonne qualité et de beaucoup de puissance informatique pour bien fonctionner. Du coup, beaucoup de tâches de codage qualitatif dépendent encore de méthodes manuelles.

#Le rôle des grands modèles de langage

L'arrivée des grands modèles de langage (LLMs) comme GPT-3 a changé la donne pour les chercheurs en matière de codage qualitatif. Contrairement aux modèles d'IA traditionnels qui sont conçus pour des tâches spécifiques, les LLMs peuvent prendre des questions en langage naturel et produire des résultats basés sur ces questions. Cette flexibilité permet aux chercheurs d'appliquer les LLMs à diverses tâches sans avoir à les entraîner pour chaque but spécifique.

Dans cette étude, on a regardé comment les LLMs pouvaient aider dans des tâches de codage déductif. En utilisant les LLMs avec des manuels de codes créés par des experts, on a voulu voir à quel point cette approche pouvait étiqueter efficacement des données qualitatives, notamment des questions des enfants motivées par la curiosité.

#Aperçu de l'étude

On a décidé de concentrer notre analyse sur un jeu de données contenant des questions d'enfants qui montrent de la curiosité. Comprendre comment les enfants posent des questions peut donner des insights importants sur leurs stades d'apprentissage. On a examiné deux aspects principaux de ces questions : leur complexité et leur structure syntaxique.

La complexité d'une question fait référence à si elle demande un simple fait ou s'il faut une explication plus détaillée. Par exemple, "C'est quoi la taille d'un dinosaure ?" c'est une question simple, tandis que "Pourquoi les dinosaures étaient-ils si grands ?" demande une explication. La structure syntaxique regarde comment les questions sont formées. On a catégorisé les questions en différents types selon leur structure.

Notre jeu de données comprenait 668 questions d'enfants en français. Des experts avaient auparavant développé un manuel de codes, qu'on a utilisé dans notre analyse. L'objectif était de voir dans quelle mesure le LLM pouvait s'accorder avec le codage expert de ces questions.

#Utilisation de GPT-3 pour l'analyse

Pour notre analyse, on a utilisé le modèle GPT-3, en le paramétrant de manière à garantir la cohérence des résultats. On a conçu des prompts pour le modèle qui incluaient les codes, des descriptions et des exemples du manuel de codes. On a exploré divers designs de prompts pour voir comment ils influençaient les résultats.

On a créé deux types de prompts : centrés sur le manuel et centrés sur les exemples. Les prompts centrés sur le manuel suivaient une structure simple, similaire à la manière dont les chercheurs lisent généralement les manuels de codes. Les prompts centrés sur les exemples fournissaient des exemples spécifiques avec des explications sur pourquoi ces exemples correspondaient à un certain code.

On a aussi testé trois approches différentes pour les prompts selon le nombre d'exemples fournis. Le réglage zero-shot impliquait de ne donner aucun exemple, tandis que les réglages one-shot et few-shot fournissaient un et cinq exemples, respectivement.

#Résultats

Notre analyse a révélé que l'approche LLM a atteint un accord correct à substantiel avec les résultats du codage expert. Ça suggère qu'il est possible d'utiliser efficacement GPT-3 avec un manuel de codes élaboré par des experts pour des tâches de codage qualitatif.

En comparant différents designs de prompts, on a trouvé que les prompts centrés sur le manuel avec des exemples obtenaient le meilleur alignement avec les évaluations des experts. Toutefois, on a observé que même avec les meilleurs prompts, il y avait encore des domaines à améliorer, notamment en ce qui concerne l'exactitude.

#Directions futures

Les résultats de notre étude indiquent que les LLMs ont le potentiel d'aider dans l'analyse qualitative, mais il y a encore des défis à relever.

#Capacité du modèle

Bien que nos résultats montrent un certain niveau d'accord avec les experts, il faut davantage de recherches pour comprendre la performance du modèle. Effectuer des analyses plus détaillées sur les zones où le modèle n'est pas d'accord avec les réponses des experts aidera à découvrir ses forces et faiblesses.

#Dépendance à l'IA

Bien que le modèle montre des promesses, il peut aussi produire des étiquettes incorrectes. Lorsqu'on utilise des systèmes d'IA, il est essentiel de concevoir des interfaces qui évitent une dépendance excessive. Les chercheurs doivent être conscients des limitations du modèle et l'utiliser comme un outil plutôt qu'une solution définitive.

#Conception du manuel de codes

Le succès de l'utilisation des LLMs dépend en partie de la manière dont les manuels de codes sont structurés. Les recherches futures devraient explorer comment concevoir des manuels qui améliorent la performance des modèles d'IA et facilitent une meilleure compréhension.

#Support pour le codage inductif

Notre étude s'est concentrée sur le codage déductif, mais le codage inductif représente une opportunité d'exploration supplémentaire. La recherche devrait examiner comment les LLMs peuvent aider dans des tâches de codage plus exploratoires, où les catégories d'analyse ne sont pas pré-définies.

#Conclusion

Dans l'ensemble, l'utilisation des grands modèles de langage présente une voie prometteuse pour améliorer l'analyse qualitative. En intégrant des outils d'IA avec des méthodes de codage établies, les chercheurs peuvent potentiellement gagner du temps et rendre le processus plus efficace. Cependant, il est crucial d'aborder cette intégration de manière réfléchie, en gardant à l'esprit les limitations du modèle et l'importance de l'expertise humaine dans le processus analytique. Avec des recherches et des ajustements continus, la collaboration entre chercheurs humains et IA pourrait ouvrir de nouvelles possibilités dans les études qualitatives.