Semplificare le Revisioni Sistematiche della Letteratura con SWARM-SLR
Un nuovo sistema per semplificare la scrittura delle review di letteratura per i ricercatori.
― 9 leggere min
Indice
Scrivere articoli di revisione o sondaggi può essere davvero complicato. Anche se ci sono stati molti cambiamenti per aiutare i ricercatori a gestire meglio le informazioni, la maggior parte di loro trova ancora difficile scrivere revisioni della letteratura in modo efficiente. Esistono molti strumenti, ma di solito aiutano solo con parti specifiche del processo di scrittura. Questo significa che spesso i ricercatori devono usare diversi strumenti, il che può essere confuso e richiedere tempo.
Per affrontare queste sfide, abbiamo creato un sistema semplice chiamato SWARM-SLR. Questo sistema mira a rendere più facile il processo di conduzione di revisioni sistematiche della letteratura, assicurando nel contempo che la ricerca venga fatta correttamente. Il nostro obiettivo è aiutare i ricercatori a collaborare e gestire la crescente quantità di informazioni disponibili nei loro campi.
Abbiamo creato un elenco di 65 bisogni specifici per i ricercatori per guidare la scrittura delle revisioni. Questi bisogni tengono conto di ogni fase del processo di revisione dall'inizio alla fine. Abbiamo poi testato strumenti esistenti per vedere come soddisfacevano questi Requisiti e abbiamo usato queste informazioni per creare un nuovo strumento che aiuta i ricercatori durante il processo di revisione.
Il sistema SWARM-SLR è stato testato utilizzando due sondaggi online. Il feedback di questi sondaggi ha mostrato che i nostri requisiti erano per lo più corretti e ha aiutato a collocare diversi strumenti nelle diverse parti del processo di scrittura. È stato scoperto che il nostro sistema SWARM-SLR supporta quasi tutte le fasi di una Revisione della letteratura, specialmente nella ricerca di informazioni, nell'estrazione dei dati, nella sintesi delle conoscenze e nella condivisione dei risultati.
Utilizzando lo strumento SWARM-SLR, i ricercatori possono lavorare insieme in modo più efficace. Ogni passaggio nel processo diventa più facile, rendendo possibile gestire meglio le informazioni. Se continuiamo a migliorare questo sistema, crediamo che i ricercatori saranno in grado di gestire il numero crescente di strumenti disponibili e usarli in modo più organizzato quando scrivono revisioni della letteratura.
L'importanza delle revisioni della letteratura
Scrivere revisioni della letteratura è una parte fondamentale del metodo scientifico. Gli articoli di revisione riassumono molti risultati di ricerca per fornire un quadro chiaro di ciò che è stato studiato. Tuttavia, negli ultimi vent'anni, la qualità delle revisioni che si dichiarano "completi" è diminuita. Questo è in parte dovuto al numero di studi pubblicati rapidamente, rendendo difficile per i ricercatori tenere il passo.
Le pratiche di scrittura attuali non sembrano tenere il passo con questo aumento delle pubblicazioni. Gli errori sono comuni e il processo manca di coerenza. Anche in campi come la medicina, dove esistono linee guida per la scrittura delle revisioni, ci sono ancora molti articoli fuorvianti e contrastanti pubblicati.
L'automazione delle revisioni sistematiche (SRA) è una spinta per utilizzare la tecnologia per rendere più veloce e meno dispendioso il processo di scrittura delle revisioni della letteratura. Con il software che diventa più facile da accedere e più dati leggibili dalle macchine, c'è l'opportunità di migliorare notevolmente il modo in cui i ricercatori trovano e condividono conoscenze.
Questo cambiamento di produttività può ridurre il tempo necessario per le revisioni da mesi a solo un paio di settimane senza sacrificare la qualità della ricerca. Gli strumenti basati sull'intelligenza artificiale (AI) possono anche aiutare ad automatizzare compiti di routine nelle revisioni della letteratura.
Tuttavia, ci sono ancora preoccupazioni sugli strumenti AI, poiché potrebbero produrre risultati inaffidabili. È fondamentale educare gli utenti sui limiti di questi sistemi AI per garantire che non prendano erroneamente il contenuto generato dall'AI per buono.
Con l'aumento del numero di pubblicazioni ogni anno, un buon sistema di revisione della letteratura dovrebbe aiutare i ricercatori a organizzare le conoscenze in modo efficace. Il nostro approccio aiuta a semplificare il processo di revisione della letteratura attraverso una gestione attenta dei compiti e degli strumenti.
I nostri contributi
Abbiamo raccolto le linee guida esistenti per la scrittura delle revisioni della letteratura in 65 requisiti specifici. Questi aiutano i ricercatori a collaborare e a creare revisioni approfondite.
Abbiamo sviluppato un flusso di lavoro pronto all'uso che va dalla pianificazione alla relazione di una revisione. Questo flusso di lavoro mostra come diversi strumenti software possono essere utilizzati in base ai loro punti di forza.
Per gettare le basi di questo sistema, abbiamo prima dovuto capire cosa comporta un buon processo di revisione della letteratura. Questa comprensione ci ha aiutato a perfezionare i nostri requisiti e a determinare quali strumenti usare mentre strutturiamo il flusso di lavoro.
Lavoro correlato sulle revisioni della letteratura
Le revisioni sistematiche della letteratura (SLR) mirano a trovare, analizzare, riassumere e riportare sulla letteratura esistente. Ci sono molti tipi di revisioni della letteratura. Alcuni le classificano in "Revisione strumentale", "Revisione valutativa" e "Revisione esplorativa". Il nostro sistema si concentra principalmente sul miglioramento delle revisioni esplorative.
Nonostante la varietà dei metodi per condurre revisioni della letteratura, non c'è stato un quadro coerente per identificare quali passi siano necessari. Molti strumenti attualmente disponibili non funzionano bene insieme, portando a confusione.
Le discussioni in corso sull'automazione delle revisioni sistematiche (SRA) evidenziano i potenziali vantaggi dell'AI nel processo di scrittura. Molti ricercatori hanno notato vari quadri che valutano gli strumenti attuali. Tuttavia, manca un flusso di lavoro coeso che utilizzi questi strumenti in modo efficace.
La situazione attuale richiede un processo robusto e chiaro per scrivere revisioni della letteratura. Con l'aumento della scrittura accademica, abbiamo bisogno di sistemi che permettano ai ricercatori di organizzare le conoscenze in modo strutturato.
Costruire il sistema SWARM-SLR
Per creare il sistema SWARM-SLR, abbiamo definito bisogni specifici basati sulle migliori pratiche esistenti. In questo modo, abbiamo potuto confrontare gli strumenti e valutare quanto bene si adattassero al processo di revisione della letteratura. I requisiti categorizzano i compiti necessari e delineano ciò che è necessario per una revisione della letteratura completa.
Il framework SWARM-SLR aiuta a identificare strumenti che possono assistere in vari compiti. Ad esempio, possiamo confrontare strumenti che aiutano a cercare letteratura pertinente, quelli che assistono nell'analizzare i dati e quelli che aiutano a scrivere la revisione finale.
Abbiamo trovato una varietà di strumenti che possono assistere le revisioni della letteratura. Alcuni sono specializzati per compiti specifici, mentre altri possono funzionare in un'ampia gamma di funzioni. Esempi includono motori di ricerca per trovare letteratura, strumenti di gestione delle bibliografie per organizzare le fonti e strumenti di estrazione dei dati per estrarre informazioni rilevanti da articoli pubblicati.
Creando un catalogo di strumenti che soddisfano i nostri requisiti, abbiamo sviluppato un sistema che può aiutare i ricercatori in ogni fase della loro revisione della letteratura.
Organizzare il flusso di lavoro
Il flusso di lavoro SWARM-SLR consiste in diverse fasi che guidano il ricercatore attraverso il processo. Ogni fase ha compiti specifici da completare. Gli strumenti disponibili possono supportare ogni compito, fornendo un modo per aumentare l'efficienza senza sacrificare la qualità.
Il processo di ricerca inizia con la definizione dell'interesse di ricerca e la formulazione delle domande. Una volta stabilita una chiara comprensione degli obiettivi, il passo successivo implica la ricerca di letteratura pertinente. Questo può comportare l'uso di motori di ricerca e database per trovare articoli, opere e altri tipi di ricerca.
Mentre i ricercatori raccolgono letteratura, la fase successiva è la selezione dei documenti pertinenti. Questo include la revisione delle fonti per trovare quelle che meglio si adattano agli obiettivi di ricerca, rimuovendo i duplicati e identificando eventuali studi mancanti.
Una volta fatta la selezione, è essenziale estrarre informazioni da questi documenti. Questo comporta la raccolta di dati strutturati come autori, date di pubblicazione e altri dettagli rilevanti. Queste informazioni estratte sono cruciali per ulteriori analisi e sintesi della letteratura.
Una volta raccolte le informazioni, i ricercatori possono passare all'analisi della letteratura. Questa fase comporta l'annotazione dei documenti per catturare i contributi chiave e il confronto dei risultati. Infine, il ricercatore redige la revisione della letteratura basata sulle intuizioni raccolte, assicurandosi di supportare le proprie affermazioni con le prove raccolte durante il processo.
Durante il flusso di lavoro, vengono raccomandati strumenti specifici per facilitare ogni compito. Delineando chiaramente ogni passaggio, SWARM-SLR consente ai ricercatori di seguire un percorso logico dall'inizio alla fine.
Testare e valutare il sistema
Per assicurarci che il nostro sistema soddisfi le esigenze dei ricercatori, abbiamo condotto sondaggi per raccogliere feedback sui nostri requisiti e sugli strumenti che abbiamo selezionato. Le risposte a questi sondaggi hanno evidenziato quanto fossero stati compresi i requisiti dai ricercatori e ci hanno permesso di identificare aree di miglioramento.
I sondaggi hanno valutato sia i requisiti che abbiamo creato sia gli strumenti attorno ad essi. Ai ricercatori è stato chiesto di valutare ogni requisito in base alla sua rilevanza e all'efficacia degli strumenti nel completare ogni compito.
I risultati dei sondaggi hanno per lo più confermato che i nostri requisiti catturano accuratamente ciò che è necessario per revisioni della letteratura efficaci. Tuttavia, ci sono state alcune aree in cui i ricercatori hanno espresso scetticismo. Ad esempio, i compiti che richiedono valutazioni di esperti hanno spesso ricevuto feedback misti su quanto gli strumenti potessero supportarli adeguatamente.
Il feedback ci ha fornito preziose informazioni su come migliorare ulteriormente il flusso di lavoro. Abbiamo scoperto che alcuni aspetti tecnici potrebbero essere stati troppo complessi per alcuni partecipanti al sondaggio, portando a confusione sulla loro importanza.
In generale, i sondaggi hanno dimostrato che il flusso di lavoro SWARM-SLR è sulla strada giusta, ma hanno anche evidenziato il potenziale per miglioramenti continui.
Guardando al futuro
Il nostro lavoro non si ferma qui. Il sistema SWARM-SLR è progettato pensando al miglioramento continuo. Miriamo a mantenere i sondaggi aperti per raccogliere feedback continuo dai ricercatori. Questo feedback ci aiuterà a perfezionare i requisiti e a identificare nuovi strumenti che possono essere integrati nel flusso di lavoro.
Collaborando con ricercatori di vari campi, possiamo creare un quadro più completo che soddisfi le esigenze in diversi domini. Man mano che continuiamo a perfezionare il nostro catalogo di strumenti e requisiti, ci aspettiamo che il flusso di lavoro SWARM-SLR diventi sempre migliore, rendendolo sempre più utile per gli scienziati.
L'obiettivo finale è avere un sistema che non solo supporti i ricercatori nelle loro attuali revisioni della letteratura, ma che li aiuti anche a gestire il crescente corpo di conoscenze nei loro campi.
Rendendo i processi SLR più facili ed efficaci, speriamo di fornire uno strumento prezioso per i ricercatori ovunque. Il sistema SWARM-SLR è posizionato per aiutare gli scienziati a tenere il passo con il sovraccarico di informazioni e migliorare il modo in cui le conoscenze vengono condivise nella comunità accademica.
In conclusione, il framework SWARM-SLR offre un approccio strutturato alla scrittura delle revisioni della letteratura. Sottolinea l'importanza della collaborazione, dell'integrazione degli strumenti e del miglioramento continuo. Abbracciando questi principi, crediamo di poter aiutare i ricercatori a navigare nel complesso mondo della scrittura accademica e migliorare la qualità delle revisioni della letteratura negli anni a venire.
Titolo: SWARM-SLR -- Streamlined Workflow Automation for Machine-actionable Systematic Literature Reviews
Estratto: Authoring survey or review articles still requires significant tedious manual effort, despite many advancements in research knowledge management having the potential to improve efficiency, reproducibility, and reuse. However, these advancements bring forth an increasing number of approaches, tools, and systems, which often cover only specific stages and lack a comprehensive workflow utilizing their task-specific strengths. We propose the Streamlined Workflow Automation for Machine-actionable Systematic Literature Reviews (SWARM-SLR) to crowdsource the improvement of SLR efficiency while maintaining scientific integrity in a state-of-the-art knowledge discovery and distribution process. The workflow aims to domain-independently support researchers in collaboratively and sustainably managing the rising scholarly knowledge corpus. By synthesizing guidelines from the literature, we have composed a set of 65 requirements, spanning from planning to reporting a review. Existing tools were assessed against these requirements and synthesized into the SWARM-SLR workflow prototype, a ready-for-operation software support tool. The SWARM-SLR was evaluated via two online surveys, which largely confirmed the validity of the 65 requirements and situated 11 tools to the different life-cycle stages. The SWARM-SLR workflow was similarly evaluated and found to be supporting almost the entire span of an SLR, excelling specifically in search and retrieval, information extraction, knowledge synthesis, and distribution. Our SWARM-SLR requirements and workflow support tool streamlines the SLR support for researchers, allowing sustainable collaboration by linking individual efficiency improvements to crowdsourced knowledge management. If these efforts are continued, we expect the increasing number of tools to be manageable and usable inside fully structured, (semi-)automated literature review workflows.
Autori: Tim Wittenborg, Oliver Karras, Sören Auer
Ultimo aggiornamento: 2024-07-26 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2407.18657
Fonte PDF: https://arxiv.org/pdf/2407.18657
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.
Link di riferimento
- https://orcid.org/0009-0000-9933-8922
- https://orcid.org/0000-0001-5336-6899
- https://orcid.org/0000-0002-0698-2864
- https://orkg.org/field/R112120
- https://github.com/borgnetzwerk/tools/tree/main/scripts/SWARM-SLR
- https://orkg.org/template/R673347/
- https://orkg.org/comparison/R674188/
- https://survey.uni-hannover.de/index.php/555283
- https://survey.uni-hannover.de/index.php/628237
- https://github.com/borgnetzwerk/tools/blob/main/scripts/SWARM-SLR/data/evaluation.ipynb
- https://github.com/borgnetzwerk/tools/blob/main/scripts/SWARM-SLR/data//analysis555283.md
- https://github.com/borgnetzwerk/tools/blob/main/scripts/SWARM-SLR/data/analysis628237.md