Melhorando a Revisão por Pares: Um Estudo sobre Estrutura

A revisão por pares em revistas é um processo que ajuda a decidir se um estudo de pesquisa deve ser publicado. Os editores recebem artigos de pesquisadores e enviam para outros especialistas (Revisores) analisarem. Os revisores checam se os métodos, dados e conclusões do estudo são sólidos antes de dar suas Recomendações. Eles podem sugerir que o artigo seja publicado como está, pedir mudanças ou rejeitá-lo de vez.

#Problemas com a Revisão por Pares

Pesquisas mostraram que o sistema de revisão por pares tem muitos problemas. Às vezes, os revisores perdem problemas importantes nos métodos de pesquisa. Eles podem não interpretar os resultados corretamente, usar referências de forma errada ou não relatar detalhes necessários que permitiriam a outros replicar o estudo. Também pode faltar informação necessária para avaliar a qualidade do estudo ou viés.

Muitos estudos descobriram que os revisores muitas vezes não concordam entre si. Por exemplo, uma análise encontrou uma taxa de concordância baixa de apenas 34%. Dados mais recentes mostraram que, em uma rodada de revisões em várias revistas, apenas 30% dos revisores concordaram entre si.

Parte dessa discordância pode vir da falta de Perguntas claras que os revisores devem responder. Em outras palavras, se eles não têm diretrizes específicas, pode levar a opiniões diferentes sobre a qualidade de um artigo.

#O Estudo Piloto da Elsevier

Em agosto de 2022, a Elsevier fez um teste com um conjunto de perguntas estruturadas que os revisores poderiam usar ao avaliar submissões. Este estudo piloto envolveu 220 revistas de diferentes áreas e níveis de fator de impacto. As perguntas eram para guiar os revisores, mas não eram obrigatórias, significando que eles podiam optar por pular perguntas que não quisessem responder.

Os objetivos deste estudo piloto incluíam verificar como os revisores usavam as novas perguntas, ver quanto havia de concordância entre eles, comparar as taxas de concordância com o desempenho passado dessas revistas e melhorar o conjunto de perguntas.

#Visão Geral do Processo de Revisão

Os revisores foram convidados a responder a nove perguntas específicas relacionadas à pesquisa que estavam revisando. Essas perguntas abordavam coisas como se os objetivos do estudo estavam claros, se os métodos eram detalhados e se os resultados foram interpretados corretamente. Algumas perguntas permitiam respostas de sim, não ou não se aplica, enquanto outras eram abertas, permitindo que os revisores explicassem suas opiniões. Após essas perguntas, os revisores também podiam deixar comentários adicionais para os autores e editores.

Os revisores também deveriam dar uma recomendação final, como se o artigo deveria ser aceito, revisado ou rejeitado.

#Analisando as Respostas dos Revisores

O estudo analisou como os revisores responderam às perguntas estruturadas e contou o número de palavras em suas respostas. Isso foi feito olhando quantos revisores responderam as perguntas corretamente ou direcionaram suas respostas para a seção de comentários.

As seções de comentários mostraram respostas variadas. Alguns revisores usaram o espaço para adicionar informações às suas respostas, enquanto outros copiaram relatórios de revisão completos que haviam preparado anteriormente.

#Comentários dos Revisores

Dentre os revisores, uma grande maioria utilizou a seção de comentários para adicionar suas opiniões. Muitos elaboraram relatórios tradicionais de revisão, que frequentemente continham resumos e feedback detalhado. As contagens de palavras desses comentários variaram significativamente, com relatórios tradicionais sendo mais longos do que os que usaram apenas as perguntas estruturadas.

Ao olhar como essas seções de comentários abordavam as perguntas estruturadas, a maioria das revisões tradicionais cobriu quatro ou cinco das nove perguntas, geralmente focando em métodos e interpretações, em vez de pontos fortes ou limitações.

Notavelmente, revisores que preencheram comentários para os autores também eram mais propensos a deixar notas para os editores.

#Concordância na Revisão Entre Revisores

O estudo examinou de perto quanta concordância havia entre os revisores nas perguntas estruturadas. A maior concordância ocorreu ao avaliar a organização do artigo, enquanto a menor foi na interpretação de resultados e métodos.

No que diz respeito às recomendações finais, cerca de 41% dos revisores concordaram entre si, o que é uma melhoria significativa em comparação com revisões anteriores que mostraram apenas 30% de concordância. No entanto, não surgiram diferenças notáveis na concordância com base na área de estudo ou no fator de impacto da revista.

#Refinando as Perguntas de Revisão

Após analisar os resultados do estudo piloto, foram feitas sugestões para melhorar as perguntas estruturadas. Inicialmente, algumas perguntas estavam redigidas de uma maneira que tornava confuso o que uma resposta de "sim" ou "não" significava. Portanto, as perguntas foram reformuladas para ter uma linguagem consistente.

Novas perguntas também foram criadas, focando em seções padrão de um artigo. O objetivo era ter uma maneira clara e simplificada para os revisores avaliarem os artigos, com uma melhor mistura de opções de sim/não e texto aberto para permitir um feedback mais construtivo.

#Conclusão sobre a Revisão Estruturada por Pares

O estudo piloto mostrou que usar perguntas estruturadas na revisão por pares foi bem recebido pelos revisores. Eles responderam às perguntas de forma adequada, e as taxas de concordância entre eles foram melhores do que nas revisões tradicionais.

É recomendado que as revistas que usam a revisão por pares estruturada informem seus revisores sobre as perguntas desde o início, para que possam tê-las em mente ao avaliar os artigos. Essa abordagem poderia criar um processo de revisão mais consistente e eficiente, levando a melhores decisões dos editores e a artigos aprimorados dos autores.

Incentivar os autores a usarem as mesmas perguntas para autoavaliação também pode ajudá-los a melhorar suas submissões antes de enviá-las para revisão.

No geral, a revisão por pares estruturada pode oferecer uma estrutura mais clara, levando a avaliações mais justas e melhorias na qualidade da pesquisa.