Analisando a Clareza da Linguagem na Revisão por Pares do eLife

A revisão por pares é uma parte fundamental da publicação de pesquisas. Envolve especialistas analisando um estudo antes de ser publicado pra garantir que ele é sólido. Mas esse processo às vezes fica meio escondido dos leitores. Muitas vezes, os leitores só veem que um artigo foi publicado, mas não sabem os detalhes de como foi revisado. Enquanto algumas revistas mantêm o processo de revisão em sigilo, algumas, como a eLife, disponibilizam algumas informações sobre isso. A eLife compartilha avaliações curtas que resumem o que os revisores e editores pensam sobre um estudo.

Em 2022, a eLife anunciou que usaria um conjunto de frases comuns pra descrever dois aspectos principais da pesquisa: quão significativas são as descobertas e quão forte é o Apoio a essas descobertas. Eles têm uma lista de frases que usam, mas os leitores só veem uma frase pra cada aspecto ao ler sobre um artigo. O objetivo dessa abordagem é deixar claro o que os revisores e editores pensam sobre um estudo.

#Propósito do Estudo

Neste estudo, queríamos descobrir se as pessoas entendiam as frases usadas nas avaliações da eLife da maneira que a eLife pretendia. Também procuramos outras palavras que poderiam comunicar essas ideias com mais clareza. O nosso objetivo era ver se as pessoas interpretavam as frases de maneira consistente e se isso batia com o que a eLife quer dizer.

#Vocabulário da eLife

O vocabulário da eLife tem frases que expressam a importância de um estudo e a força do seu apoio. Mas há preocupações sobre se essas frases comunicam claramente os Significados pretendidos. Por exemplo, não é sempre claro se a frase "importante" significa mais do que "valioso". Além disso, algumas das frases podem ser interpretadas de maneiras diferentes por pessoas diferentes. Isso gera confusão sobre o que essas frases realmente significam ao descrever pesquisas.

O vocabulário da eLife não inclui nenhuma frase negativa sobre a importância, o que pode dar a impressão de que toda pesquisa é valiosa. Isso é problemático porque não permite uma visão completa da importância de um estudo.

#Vocabulário Alternativo

Pra lidar com a confusão potencial, criamos um vocabulário alternativo. Esse novo conjunto de frases indica claramente a que aspecto se referem e usa palavras que mostram mais exatamente seu significado. Por exemplo, em vez de chamar algo de "significativo", podemos referir-nos a isso como "importante", facilitando a compreensão. O novo vocabulário também inclui frases negativas pra dar uma gama mais completa de Avaliação.

O vocabulário alternativo consiste em cinco frases tanto pra importância quanto pra apoio. O objetivo é criar uma Comunicação mais clara sobre as avaliações de pesquisa, facilitando pros leitores entenderem o que está sendo dito.

#Perguntas de Pesquisa

Tivemos três perguntas principais:

1. As pessoas interpretam as frases usadas pra descrever a pesquisa de forma semelhante?
2. Quão bem as classificações das pessoas para essas frases combinam entre si e com os significados pretendidos?
3. As diferentes frases oferecem uma gama ampla o suficiente de interpretações?

#Métodos

Nós fizemos um experimento onde os participantes leram afirmações que descreviam estudos hipotéticos usando frases do vocabulário da eLife e do nosso vocabulário alternativo. Eles avaliaram a importância ou a força do apoio de cada afirmação numa escala de 0 a 100. Isso nos permitiu ver se as pessoas entendiam as frases da mesma forma e se isso se alinhava com as classificações pretendidas.

Os participantes foram recrutados online, garantindo que tinham um bom entendimento do inglês e tinham completado pelo menos um grau de pós-graduação. A gente planejou 300 participantes, mas acabou tendo 301 por um pequeno descuido.

#Resultados

Os resultados mostraram que, enquanto algumas frases da eLife foram entendidas de forma consistente, muitas não foram. Frases como "excepcional" e "marco" eram mais diretas, mas outras como "fundamental" e "valioso" geraram confusão. Os participantes geralmente avaliavam os estudos de forma mais positiva porque o vocabulário da eLife faltava frases negativas, o que limitava a gama de respostas.

Em termos de classificações implícitas, apenas 20% dos participantes alinharam suas interpretações com os significados pretendidos da eLife para importância e apenas 15% fizeram isso para força de apoio. Isso sugere que o vocabulário atual pode não comunicar efetivamente o que a eLife espera transmitir.

Por outro lado, nosso vocabulário alternativo levou a uma compreensão mais clara. Cerca de 62% dos participantes tiveram classificações que combinaram com os significados pretendidos para importância, e 67% para apoio. Embora nosso vocabulário tenha se saído melhor, não foi perfeito. Algumas frases ainda tinham interpretações sobrepostas, sugerindo que mais trabalho é necessário.

#A Importância da Comunicação Clara

Comunicação clara é crítica na pesquisa científica. Quando os leitores não entendem as avaliações dos estudos, isso pode levar a mal-entendidos sobre a própria pesquisa. Isso pode afetar como as pessoas veem as descobertas e suas implicações.

Se as frases têm significados diferentes pra pessoas diferentes, isso pode criar um descompasso entre o que os pesquisadores pretendiam e como o público interpreta essas intenções. Por isso, ter um vocabulário claro e consistente é essencial pra todos envolvidos no processo de pesquisa, de autores a leitores.

#Sugestões de Melhoria

Uma possível melhoria é apresentar as frases de avaliação dentro do contexto que elas pretendem. Em vez de as frases ficarem isoladas, fornecer uma escala clara pode ajudar os leitores a entender melhor seus significados. Por exemplo, se frases como "baixa importância" ou "alto apoio" fossem mostradas junto com outras classificações numa escala, isso poderia melhorar a compreensão.

Além disso, incluir faixas numéricas para os termos poderia clarificar quão forte ou fraca são as reclamações de um estudo. Assim, os leitores teriam um quadro mais claro pra interpretar o significado por trás das frases.

#Limitações

Este estudo tem algumas limitações. Primeiro, não avaliamos se as opiniões dos revisores refletiam com precisão a qualidade dos estudos em si. Também não tivemos informações demográficas detalhadas sobre o público da eLife, o que poderia influenciar como nossa amostra se alinha com seu público.

Para o propósito do estudo, usamos declarações muito curtas pra avaliar as frases. Na vida real, essas frases aparecem dentro de textos mais longos, o que pode mudar como elas são interpretadas. Pesquisas futuras poderiam investigar se adicionar contexto ajuda a esclarecer essas frases.

Por fim, pedir aos participantes uma única estimativa pode simplificar demais suas interpretações. Permitir uma gama de respostas pode dar uma imagem melhor de como as frases são entendidas.

#Conclusão

Usar uma linguagem clara e estruturada pode melhorar muito a forma como as avaliações de pesquisa são comunicadas. Nosso vocabulário alternativo teve um desempenho melhor do que o vocabulário atual da eLife em termos de clareza e consistência. No entanto, ainda há espaço pra melhorias. Esforços futuros devem se concentrar tanto em encontrar as melhores palavras pra descrever a pesquisa quanto em apresentá-las de maneiras que melhorem a compreensão. Fazendo isso, podemos ajudar a garantir que a comunicação da pesquisa seja eficaz e acessível a todos.