Esaminando la chiarezza del linguaggio nella revisione tra pari di eLife

La revisione tra pari è una parte fondamentale della pubblicazione della ricerca. Significa che esperti controllano uno studio prima che venga pubblicato per assicurarsi che sia solido. Tuttavia, questo processo può essere un po' nascosto dai lettori. Spesso, i lettori vedono solo che un articolo è stato pubblicato, ma non conoscono i dettagli di come è stato esaminato. Mentre alcune riviste mantengono il processo di revisione privato, alcune, come eLife, rendono disponibili alcune di queste informazioni. eLife condivide brevi valutazioni che riassumono cosa pensano i revisori e gli editori di uno studio.

Nel 2022, eLife ha annunciato che avrebbero usato un insieme di frasi comuni per descrivere due aspetti principali della ricerca: quanto siano significativi i risultati e quanto sia forte il Supporto per quei risultati. Hanno una lista di frasi che usano, ma i lettori vedono solo una frase per ciascun aspetto quando leggono un articolo. L'obiettivo di questo approccio è far capire chiaramente cosa pensano i revisori e gli editori di uno studio.

#Scopo dello Studio

In questo studio, volevamo scoprire se le persone capivano le frasi usate nelle valutazioni di eLife come intendevano. Abbiamo anche cercato altre parole che potessero comunicare queste idee in modo più chiaro. Volevamo vedere se le persone interpretano le frasi in modo coerente e se corrispondono a ciò che eLife intende.

#Vocabolario di eLife

Il vocabolario di eLife ha frasi che esprimono il Significato di uno studio e la forza del suo supporto. Tuttavia, ci sono preoccupazioni su se queste frasi comunichino chiaramente i significati intesi. Ad esempio, non è sempre chiaro se la frase "importante" significhi più di "prezioso". Inoltre, alcune frasi potrebbero essere interpretate in modi diversi da persone diverse. Questo porta a confusione su cosa significhino realmente queste frasi quando descrivono la ricerca.

Il vocabolario di eLife non include frasi negative sul lato del significato, il che potrebbe dare l'impressione che tutta la ricerca sia preziosa. Questo è problematico perché non consente una visione completa del significato di uno studio.

#Vocabolario Alternativo

Per affrontare la potenziale confusione, abbiamo creato un vocabolario alternativo. Questo nuovo insieme di frasi indica chiaramente a quale aspetto si riferiscono e usa parole che mostrano più accuratamente il loro significato. Ad esempio, invece di chiamare qualcosa "significativo", potremmo riferirci ad esso come "importante", rendendolo più facile da capire. Il nuovo vocabolario include anche frasi negative per dare un'analisi più completa.

Il vocabolario alternativo consiste di cinque frasi sia per significato che per supporto. L'obiettivo è creare una Comunicazione più chiara sulle valutazioni della ricerca, rendendo più facile per i lettori interpretare ciò che viene detto.

#Domande di Ricerca

Avevamo tre domande principali:

1. Le persone interpretano le frasi usate per descrivere la ricerca in modo simile?
2. Quanto bene si allineano i punteggi delle persone per queste frasi tra loro e ai significati intesi?
3. Le diverse frasi forniscono un'interpretazione abbastanza ampia?

#Metodi

Abbiamo condotto un esperimento in cui i partecipanti leggevano dichiarazioni che descrivevano studi ipotetici usando frasi sia del vocabolario di eLife che del nostro vocabolario alternativo. Hanno valutato il significato o la forza del supporto per ciascuna dichiarazione su una scala da 0 a 100. Questo ci ha permesso di vedere se le persone capivano le frasi allo stesso modo e se corrispondevano ai punteggi intesi.

I partecipanti sono stati reclutati online, assicurandoci che avessero una buona comprensione dell'inglese e avessero completato almeno un master. Puntavamo a 300 partecipanti ma ne abbiamo avuti 301 a causa di una piccola svista.

#Risultati

I risultati hanno mostrato che mentre alcune frasi di eLife erano comprese in modo coerente, molte non lo erano. Frasi come "eccezionale" e "pietra miliare" erano più dirette, ma altre come "fondamentale" e "prezioso" hanno creato confusione. I partecipanti tendevano a valutare gli studi in modo più positivo perché il vocabolario di eLife mancava di frasi negative, limitando la gamma di risposte.

In termini di punteggi impliciti, solo il 20% dei partecipanti ha allineato le proprie interpretazioni con i significati intesi di eLife per il significato e solo il 15% lo ha fatto per la forza del supporto. Questo suggerisce che l'attuale vocabolario potrebbe non comunicare efficacemente ciò che eLife spera di trasmettere.

Al contrario, il nostro vocabolario alternativo ha portato a una comprensione più chiara. Circa il 62% dei partecipanti aveva punteggi che corrispondevano ai significati intesi per il significato, e il 67% lo faceva per il supporto. Anche se il nostro vocabolario ha avuto prestazioni migliori, non era perfetto. Alcune frasi avevano ancora interpretazioni sovrapposte, suggerendo che c'è bisogno di ulteriore lavoro.

#L'importanza di una Comunicazione Chiara

Una comunicazione chiara è fondamentale nella ricerca scientifica. Quando i lettori non riescono a capire le valutazioni degli studi, può portare a fraintendimenti sulla ricerca stessa. Questo può influenzare come le persone vedono i risultati e le loro implicazioni.

Se le frasi hanno significati diversi per persone diverse, può creare un disallineamento tra ciò che i ricercatori intendevano e come il pubblico interpreta quelle intenzioni. Ecco perché avere un vocabolario chiaro e coerente è essenziale per tutti coloro che sono coinvolti nel processo di ricerca, dagli autori ai lettori.

#Suggerimenti per il Miglioramento

Un possibile miglioramento è presentare le frasi di Valutazione nel loro contesto inteso. Invece di avere frasi isolate, fornire una scala chiara potrebbe aiutare i lettori a comprendere meglio i loro significati. Ad esempio, se frasi come "bassa importanza" o "alto supporto" fossero mostrate insieme ad altre valutazioni su una scala, potrebbe migliorare la comprensione.

Inoltre, includere intervalli numerici per i termini potrebbe chiarire quanto siano forti o deboli le affermazioni di uno studio. In questo modo, i lettori avrebbero un quadro più chiaro per interpretare il significato dietro le frasi.

#Limitazioni

Questo studio ha alcune limitazioni. Prima di tutto, non abbiamo valutato se le opinioni dei revisori riflettessero accuratamente la qualità degli studi stessi. Non avevamo nemmeno informazioni demografiche dettagliate sul pubblico di eLife, il che potrebbe influenzare il modo in cui il nostro campione si allinea con il loro pubblico.

Per scopi dello studio, abbiamo usato dichiarazioni molto brevi per valutare le frasi. Nella vita reale, queste frasi compaiono all'interno di testi più lunghi, il che potrebbe cambiare il modo in cui vengono interpretate. Ricerche future potrebbero indagare se aggiungere contesto aiuta a chiarire queste frasi.

Infine, chiedere ai partecipanti una stima singola potrebbe semplificare troppo le loro interpretazioni. Permettere una gamma di risposte potrebbe fornire un quadro migliore di come vengono comprese le frasi.

#Conclusione

Utilizzare un linguaggio chiaro e strutturato può migliorare notevolmente il modo in cui vengono comunicate le valutazioni della ricerca. Il nostro vocabolario alternativo ha mostrato migliori prestazioni rispetto al vocabolario esistente di eLife in termini di chiarezza e coerenza. Tuttavia, c'è ancora margine di miglioramento. Gli sforzi futuri dovrebbero concentrarsi sia su trovare le parole migliori per descrivere la ricerca, sia su presentarle in modi che migliorino la comprensione. Facendo così, possiamo assicurarci che la comunicazione della ricerca sia efficace e accessibile a tutti.