Comprendre l'utilisation des LLM en pédiatrie

Les grands modèles de langage (LLMs) sont des programmes informatiques qui apprennent à partir d'énormes quantités de texte. Leur but, c'est de comprendre la langue de manière similaire à nous, les humains. Ils peuvent prendre différents types d'entrées et répondre comme si c'était un humain. Depuis le lancement de ChatGPT en novembre 2022, les LLMs ont été largement adoptés dans plusieurs domaines, y compris le travail et l'éducation. Cependant, il y a des soucis importants concernant leur usage responsable et éthique. Ces préoccupations viennent du fait que les LLMs n'expliquent souvent pas clairement comment ils fonctionnent, et ils sont parfois utilisés sans Directives appropriées dans les milieux de travail.

Les LLMs offrent plusieurs avantages dans divers domaines, comme améliorer l'efficacité dans les tâches liées à la santé et la recherche. En revanche, ils posent aussi des défis, surtout en ce qui concerne la confidentialité médicale, la Précision des infos, les biais, et le manque de responsabilité dans leurs décisions.

#Notre cadre d'étude

Le Melbourne Children’s Campus est un grand hôpital académique et un centre de recherche axé sur les soins pédiatriques. Bien que de nombreux membres du personnel et étudiants semblent utiliser les LLMs pour différentes tâches, il n'y avait pas de preuves solides sur la fréquence et les manières dont ils étaient utilisés. On voulait découvrir à quel point les gens étaient familiers avec les LLMs, comment ils les utilisaient, et ce qu’ils en pensaient. On voulait aussi voir s'il y avait des différences entre les soins cliniques, la recherche, et l'enseignement en ce qui concerne l'utilisation des LLMs.

Le Campus abrite un hôpital pédiatrique avec plus de 6000 employés et 350 lits, ainsi qu'un institut de recherche médicale qui emploie plus de 1800 chercheurs travaillant sur divers problèmes de santé des enfants. Il y a aussi 70 membres du personnel académique dans le département universitaire, sans compter de nombreux autres impliqués dans la recherche et les rôles de soutien. Au total, environ 7500 personnes sont associées au Campus.

#Approche de recherche

Pour recueillir des infos de notre communauté du Campus, on a utilisé une méthode appelée théorie ancrée. On a envoyé un sondage à tout le personnel et aux étudiants pour collecter des infos sur leur utilisation actuelle des LLMs et leurs réflexions sur les usages futurs, les opportunités et les risques. La plupart des questions étaient ouvertes, permettant des réponses détaillées. On a suivi des directives pour s'assurer d'un bon rapport de nos résultats.

Les chercheurs qui ont conçu et analysé le sondage comprenaient un groupe diversifié de professionnels comme des chercheurs, des cliniciens, des experts en données, et des membres qui représentent les opinions des consommateurs en santé infantile. Quiconque associé au Campus était invité à participer, y compris le personnel clinique, les chercheurs, et le personnel de soutien.

#Conception et distribution du sondage

Le sondage a été développé grâce à des discussions au sein de notre groupe de travail. Il a été testé et amélioré jusqu'à ce que tout le monde soit satisfait. On a utilisé une plateforme en ligne pour distribuer le sondage, atteignant environ 1000 membres du personnel clinique, 1800 chercheurs, et 100 étudiants. Le sondage est resté ouvert pendant quatre semaines.

#Analyse des données

On a pris des mesures pour garantir la confidentialité lors du traitement des données du sondage en supprimant les informations identifiables. On a utilisé Microsoft Excel pour l'analyse statistique et appliqué des techniques d'analyse qualitative pour les réponses ouvertes. Deux chercheurs étaient impliqués dans le codage des réponses et l'identification des thèmes.

#Résumé des réponses

Au total, on a reçu 281 réponses. Beaucoup de répondants travaillaient à l'hôpital, tandis que d'autres étaient affiliés à l'institut de recherche ou au département universitaire. Plus de la moitié des participants avaient des rôles cliniques, et la plupart se définissaient comme des professionnels expérimentés.

Les résultats du sondage ont montré que plus de 90% des répondants connaissaient les outils LLM, avec ChatGPT comme le plus courant. Environ 64% ont déclaré utiliser les LLMs dans leur travail. Beaucoup ont aussi mentionné qu'ils avaient entendu parler des LLMs mais ne les avaient pas utilisés.

#Utilisations actuelles et potentielles des LLMs

Les répondants ont noté une large gamme d'utilisations des LLMs dans leur travail. Beaucoup ont rapporté utiliser les LLMs pour générer ou modifier du texte. D'autres utilisations incluaient obtenir de l'aide pour des idées et de la programmation, gérer des données, et obtenir des informations. Cependant, certains répondants ont rapporté ne pas utiliser les LLMs actuellement.

En regardant vers l'avenir, beaucoup s'attendaient à utiliser les LLMs davantage pour créer du texte, soutenir des décisions cliniques, analyser des données, et développer des matériaux éducatifs à l'avenir.

#Opportunités et risques associés aux LLMs

La principale opportunité identifiée était l'augmentation de l'efficacité dans les tâches, comme gagner du temps et des ressources. Certains répondants pensaient que les LLMs pouvaient améliorer la qualité de leur travail. Toutefois, il y avait aussi des préoccupations importantes, notamment concernant la confidentialité, la sécurité, et la précision des informations générées.

Parmi les risques identifiés figuraient la possibilité de violer la confidentialité, des problèmes de propriété intellectuelle, et le potentiel d'une réduction de la confiance dans les soins de santé et la recherche. Les préoccupations liées à la faible précision et à la qualité des résultats des LLMs étaient également courantes. Certains dans des rôles d'enseignement s'inquiétaient que les LLMs puissent donner des résultats de moindre qualité.

D'autres risques moins courants incluaient la possibilité de mauvaise utilisation des résultats des LLMs et un manque de transparence dans leur utilisation. Les avis divergents sur le potentiel des LLMs soulignent la nécessité de plus de formation et de directives claires.

#Conclusions clés

D'après le sondage, on a appris que la plupart des répondants connaissent les outils LLM et les ont utilisés pour diverses tâches. Les répondants ont exprimé que les LLMs peuvent améliorer l'efficacité ; cependant, beaucoup ont reconnu des risques potentiels comme des violations de la Vie privée et des problèmes de précision.

Certains répondants pourraient ne pas être conscients des risques liés au partage d'informations privées ou à l'utilisation des LLMs sans vérifier leur fiabilité. Cette constatation souligne le besoin de directives plus claires et de formation efficace pour les utilisateurs.

On a également constaté que les défis mentionnés par les répondants sont similaires à ceux trouvés dans la littérature existante sur les LLMs dans divers environnements éducatifs et de recherche.

#Recommandations pour l'utilisation des LLMs

Étant donné l'utilisation généralisée des LLMs sur notre Campus et le potentiel tant d'avantages que de risques, il est crucial d'établir des directives et une formation appropriées pour leur utilisation. On pense qu'interdire les LLMs dans certains domaines n'est pas pratique, car ils sont déjà intégrés dans de nombreux workflows.

Encourager les membres du personnel à explorer la technologie des LLM tout en maintenant transparence et gouvernance est essentiel. La formation devrait se concentrer sur l'utilisation efficace des LLMs, enseignant aux utilisateurs comment évaluer la qualité des résultats et les utiliser de manière éthique et responsable.

Les idées de notre sondage peuvent également informer les réglementations gouvernementales concernant l'utilisation de l'IA, s'assurant qu'elles sont pertinentes pour l'évolution de la technologie dans la santé.

#Considérations futures

Bien que notre étude reflète les opinions et les utilisations actuelles des LLMs, il est essentiel de se rappeler que ces outils changent constamment. Les réponses représentent un instantané des opinions, qui peuvent évoluer avec le temps, rendant nécessaire de revoir ces conclusions régulièrement.

D'autres institutions peuvent reproduire notre étude pour comprendre l'utilisation des LLMs dans leur contexte et développer des directives spécifiques. Ce travail continu aidera à assurer que les outils LLM soient utilisés efficacement et éthiquement dans divers environnements académiques et cliniques.

#Conclusion

En résumé, notre sondage met en évidence que les LLMs sont largement utilisés sur notre Campus pour divers objectifs. Bien que beaucoup voient le potentiel d'amélioration de l'efficacité et d'autres avantages, il y a un besoin clair de meilleure gouvernance et formation pour naviguer les risques associés à leur utilisation. Les résultats de cette étude informeront nos stratégies futures pour gérer les applications des LLM de manière responsable.