Évaluer la confiance dans les revues systématiques
Un aperçu de la fiabilité des revues systématiques en recherche.
Jack Wilkinson, Calvin Heal, Georgios A Antoniou, Ella Flemyng, Love Ahnström, Alessandra Alteri, Alison Avenell, Timothy Hugh Barker, David N Borg, Nicholas JL Brown, Rob Buhmann, Jose A Calvache, Rickard Carlsson, Lesley-Anne Carter, Aidan G Cashin, Sarah Cotterill, Kenneth Färnqvist, Michael C Ferraro, Steph Grohmann, Lyle C Gurrin, Jill A Hayden, Kylie E Hunter, Natalie Hyltse, Lukas Jung, Ashma Krishan, Silvy Laporte, Toby J Lasserson, David RT Laursen, Sarah Lensen, Wentao Li, Tianjing Li, Jianping Liu, Clara Locher, Zewen Lu, Andreas Lundh, Antonia Marsden, Gideon Meyerowitz-Katz, Ben W Mol, Zachary Munn, Florian Naudet, David Nunan, Neil E O’Connell, Natasha Olsson, Lisa Parker, Eleftheria Patetsini, Barbara Redman, Sarah Rhodes, Rachel Richardson, Martin Ringsten, Ewelina Rogozińska, Anna Lene Seidler, Kyle Sheldrick, Katie Stocking, Emma Sydenham, Hugh Thomas, Sofia Tsokani, Constant Vinatier, Colby J Vorland, Rui Wang, Bassel H Al Wattar, Florencia Weber, Stephanie Weibel, Madelon van Wely, Chang Xu, Lisa Bero, Jamie J Kirkham
― 7 min lire
Table des matières
- L'importance de la Validité
- La confiance n'est plus acquise
- Qu'est-ce que les Études problématiques ?
- Développer un nouvel outil : INSPECT-SR
- L'étude de recherche
- Qui a fait les vérifications ?
- Sélection des revues et des essais
- Extraction des données et évaluation de la fiabilité
- Comment se sont passées les revues ?
- Résultats du processus de vérification
- Faisabilité des vérifications
- Identifier les études problématiques
- La nécessité de la prudence
- Regard vers l'avenir : développement de l'INSPECT-SR
- Conclusion
- L'avenir de la fiabilité dans la recherche
- Source originale
- Liens de référence
Les revues systématiques, c'est un peu comme du travail de détective pour les chercheurs. Ils rassemblent toutes les études sur un sujet spécifique pour voir ce que dit la preuve. Pense à ça comme à comparer des notes après un gros projet de groupe pour vérifier si tout le monde est sur la même longueur d'onde. Dans ces revues, les chercheurs préfèrent inclure des essais contrôlés randomisés (ECR), où les gens sont assignés à différents traitements par hasard, pour garantir l'équité.
Validité
L'importance de laPour qu'une Revue systématique soit fiable, elle doit inclure des ECR valides. La validité signifie que l'étude mesure précisément ce qu'elle prétend mesurer. Imagine que tu as acheté une balance fancy pour te peser, mais elle est cassée et te dit que tu pèses 100 livres de moins que ce que tu es vraiment. Pas valide ! Les chercheurs utilisent des outils appelés outils de risque de biais pour évaluer si les études qu'ils incluent sont honnêtes et fiables.
La confiance n'est plus acquise
Cependant, les choses ont changé. Des enquêtes récentes sur les ECR ont suscité des doutes. Certaines études publiées dans des revues pourraient ne pas dire toute la vérité. C'est comme découvrir que ton partenaire de projet de groupe a secrètement copié sa partie sur un site random au lieu de faire son propre travail. Quand ça arrive, des études fictives peuvent finir par guider les soins aux patients, et c'est un problème.
Études problématiques ?
Qu'est-ce que lesCochrane, une organisation bien connue dans le monde de la recherche, définit les "études problématiques" comme celles qui soulèvent de sérieux doutes sur leur Fiabilité. Cela peut être dû à quelqu'un qui triche ou simplement à des erreurs majeures pendant l'étude. Ils ont décidé que les études ayant de graves problèmes ne devraient pas figurer dans les revues systématiques. Cela soulève la grande question : comment savoir si une étude est fiable ou problématique ?
Développer un nouvel outil : INSPECT-SR
Pour résoudre ce problème, les chercheurs travaillent sur un nouvel outil appelé INSPECT-SR (INveStigating ProblEmatic Clinical Trials in Systematic Reviews). L'objectif est de créer une checklist qui peut aider les évaluateurs à déterminer si les ECR sont fiables. Ils ont élaboré une longue liste de vérifications potentielles, mais les tester prendra du temps.
L'étude de recherche
Dans un projet pour développer cet outil, les chercheurs ont appliqué 72 vérifications différentes à des ECR issus de 50 revues Cochrane. Ils voulaient voir à quel point ces vérifications étaient pratiques et quel impact elles avaient sur les résultats des revues. Cet aspect était essentiel car si les vérifications sont trop compliquées ou prennent trop de temps, les évaluateurs ne voudront pas les utiliser.
Qui a fait les vérifications ?
Le groupe de travail INSPECT-SR était composé d'un mélange d'experts en recherche. Ils ont invité plusieurs évaluateurs pour aider à évaluer les études. Ces évaluateurs n'avaient pas besoin d'avoir des qualifications spéciales en intégrité de recherche, car l'idée était de voir comment des évaluateurs quotidiens géreraient les vérifications.
Sélection des revues et des essais
Pour sélectionner les revues Cochrane, les chercheurs ont cherché celles publiées récemment qui remplissaient certains critères. Ils ont évité les revues où les évaluateurs avaient un lien quelconque pour garantir l'équité. Ils ont aussi voulu se concentrer sur des revues incluant des ECR adaptés à l'analyse.
Extraction des données et évaluation de la fiabilité
Les évaluateurs ont reçu un formulaire à remplir pendant qu'ils examinaient les études. Ils ont regardé des choses comme si les résultats étaient clairs et si les auteurs des études étaient dignes de confiance. Ils ont utilisé des logiciels disponibles qui pouvaient aider avec certaines vérifications, mais il n'y avait pas d'exigence d'utiliser un programme particulier.
Comment se sont passées les revues ?
Durant ce processus, les évaluateurs ont bien examiné chaque ECR et leur ont attribué des scores basés sur les vérifications. Ils devaient évaluer des choses comme si les données de l'étude étaient partagées publiquement ou si tous les auteurs avaient contribué de manière égale. Après évaluation, ils ont noté s'ils avaient des préoccupations concernant la fiabilité de chaque étude.
Résultats du processus de vérification
Après avoir examiné 95 ECR issus des 50 revues Cochrane, les évaluateurs ont constaté qu'un nombre significatif d'études soulevait des préoccupations. Bien que la plupart des études n'aient pas de problèmes majeurs, environ 25 % avaient quelques préoccupations, et environ 6 % ont soulevé de sérieuses alertes.
Faisabilité des vérifications
Tout au long de l'évaluation, certaines vérifications ont été jugées peu pratiques. Par exemple, vérifier si un chercheur avait copié le travail d'autres ou s'il avait correctement rapporté ses résultats était difficile. Cela nécessitait plus d'efforts que ça en valait, montrant qu'il faut trouver un équilibre entre exhaustivité et praticité.
Identifier les études problématiques
Les vérifications visaient à mettre en évidence les études problématiques, qui manquaient souvent de rigueur dans des domaines comme l'enregistrement préalable des essais (le processus d'informer que l'étude a lieu) et le partage des données. Beaucoup d'ECR n'étaient pas enregistrés à l'avance, ce qui soulevait des doutes sur leur authenticité.
La nécessité de la prudence
Bien que les résultats puissent sembler alarmants, il est important de garder à l'esprit que la conception de l'étude avait des limites. Les évaluateurs n'ont examiné que des méta-analyses avec un petit nombre d'essais, ce qui pouvait gonfler le nombre de revues qui ont fini sans études exploitables après l'application des vérifications.
Regard vers l'avenir : développement de l'INSPECT-SR
Les résultats de cette étude aideront à façonner l'outil final INSPECT-SR. Les chercheurs sont impatients de créer un outil pratique avec des vérifications utiles que les évaluateurs systématiques peuvent utiliser sans se sentir submergés.
Conclusion
En gros, l'étude révèle que vérifier la fiabilité des ECR est essentiel. Elle suggère que les études problématiques ne sont pas aussi rares qu'on pourrait le penser, et les méthodes actuelles peuvent ne pas détecter tous les problèmes. À l'ère de l'information, garder notre recherche fiable est aussi important que de s'assurer que nos listes de courses n'incluent pas de rouleaux de pizza quand on est au régime. Le chemin à suivre implique de peaufiner les vérifications, de recueillir des retours et de créer un outil qui puisse être utilisé de manière pratique dans la recherche quotidienne.
L'avenir de la fiabilité dans la recherche
C'est le début d'une nouvelle ère où l'honnêteté et la fiabilité des études seront examinées de plus près. Alors que les chercheurs continuent de travailler pour améliorer les revues systématiques, c'est comme polir une pomme brillante — ça peut demander des efforts, mais ça aboutit à quelque chose en quoi tout le monde peut avoir confiance. Et qui ne veut pas croquer dans une pomme digne de confiance ?
Restez à l'écoute pour ce qui va suivre dans le monde de la recherche et comment ces nouveaux outils aideront à garder la communauté scientifique responsable. Après tout, en matière de santé et de médecine, on veut tous être sûrs de recevoir la vraie affaire !
Source originale
Titre: Assessing the feasibility and impact of clinical trial trustworthiness checks via an application to Cochrane Reviews: Stage 2 of the INSPECT-SR project
Résumé: BackgroundThe aim of the INSPECT-SR project is to develop a tool to identify problematic RCTs in systematic reviews. In Stage 1 of the project, a list of potential trustworthiness checks was created. The checks on this list must be evaluated to determine which should be included in the INSPECT-SR tool. MethodsWe attempted to apply 72 trustworthiness checks to RCTs in 50 Cochrane Reviews. For each, we recorded whether the check was passed, failed or possibly failed, or whether it was not feasible to complete the check. Following application of the checks, we recorded whether we had concerns about the authenticity of each RCT. We repeated each meta-analysis after removing RCTs flagged by each check, and again after removing RCTs where we had concerns about authenticity, to estimate the impact of trustworthiness assessment. Trustworthiness assessments were compared to Risk of Bias and GRADE assessments in the reviews. Results95 RCTs were assessed. Following application of the checks, assessors had some or serious concerns about the authenticity of 25% and 6% of the RCTs, respectively. Removing RCTs with either some or serious concerns resulted in 22% of meta-analyses having no remaining RCTs. However, many checks proved difficult to understand or implement, which may have led to unwarranted scepticism in some instances. Furthermore, we restricted assessment to meta-analyses with no more than 5 RCTs, which will distort the impact on results. No relationship was identified between trustworthiness assessment and Risk of Bias or GRADE. ConclusionsThis study supports the case for routine trustworthiness assessment in systematic reviews, as problematic studies do not appear to be flagged by Risk of Bias assessment. The study produced evidence on the feasibility and impact of trustworthiness checks. These results will be used, in conjunction with those from a subsequent Delphi process, to determine which checks should be included in the INSPECT-SR tool. Plain language summarySystematic reviews collate evidence from randomised controlled trials (RCTs) to find out whether health interventions are safe and effective. However, it is now recognised that the findings of some RCTs are not genuine, and some of these studies appear to have been fabricated. Various checks for these "problematic" RCTs have been proposed, but it is necessary to evaluate these checks to find out which are useful and which are feasible. We applied a comprehensive list of "trustworthiness checks" to 95 RCTs in 50 systematic reviews to learn more about them, and to see how often performing the checks would lead us to classify RCTs as being potentially inauthentic. We found that applying the checks led to concerns about the authenticity of around 1 in 3 RCTs. However, we found that many of the checks were difficult to perform and could have been misinterpreted. This might have led us to be overly sceptical in some cases. The findings from this study will be used, alongside other evidence, to decide which of these checks should be performed routinely to try to identify problematic RCTs, to stop them from being mistaken for genuine studies and potentially being used to inform healthcare decisions. What is newO_LIAn extensive list of potential checks for assessing study trustworthiness was assessed via an application to 95 randomised controlled trials (RCTs) in 50 Cochrane Reviews. C_LIO_LIFollowing application of the checks, assessors had concerns about the authenticity of 32% of the RCTs. C_LIO_LIIf these RCTs were excluded, 22% of meta-analyses would have no remaining RCTs. C_LIO_LIHowever, the study showed that some checks were frequently infeasible, and others could be easily misunderstood or misinterpreted. C_LIO_LIThe study restricted assessment to meta-analyses including five or fewer RCTs, which might distort the impact of applying the checks. C_LI
Auteurs: Jack Wilkinson, Calvin Heal, Georgios A Antoniou, Ella Flemyng, Love Ahnström, Alessandra Alteri, Alison Avenell, Timothy Hugh Barker, David N Borg, Nicholas JL Brown, Rob Buhmann, Jose A Calvache, Rickard Carlsson, Lesley-Anne Carter, Aidan G Cashin, Sarah Cotterill, Kenneth Färnqvist, Michael C Ferraro, Steph Grohmann, Lyle C Gurrin, Jill A Hayden, Kylie E Hunter, Natalie Hyltse, Lukas Jung, Ashma Krishan, Silvy Laporte, Toby J Lasserson, David RT Laursen, Sarah Lensen, Wentao Li, Tianjing Li, Jianping Liu, Clara Locher, Zewen Lu, Andreas Lundh, Antonia Marsden, Gideon Meyerowitz-Katz, Ben W Mol, Zachary Munn, Florian Naudet, David Nunan, Neil E O’Connell, Natasha Olsson, Lisa Parker, Eleftheria Patetsini, Barbara Redman, Sarah Rhodes, Rachel Richardson, Martin Ringsten, Ewelina Rogozińska, Anna Lene Seidler, Kyle Sheldrick, Katie Stocking, Emma Sydenham, Hugh Thomas, Sofia Tsokani, Constant Vinatier, Colby J Vorland, Rui Wang, Bassel H Al Wattar, Florencia Weber, Stephanie Weibel, Madelon van Wely, Chang Xu, Lisa Bero, Jamie J Kirkham
Dernière mise à jour: 2024-12-20 00:00:00
Langue: English
Source URL: https://www.medrxiv.org/content/10.1101/2024.11.25.24316905
Source PDF: https://www.medrxiv.org/content/10.1101/2024.11.25.24316905.full.pdf
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à medrxiv pour l'utilisation de son interopérabilité en libre accès.