Impacto e Mudança na Pesquisa: Uma Relação Complexa
Explora a conexão entre citações acadêmicas e a disrupção científica.
― 7 min ler
Índice
No mundo da pesquisa, tem duas ideias importantes: impacto acadêmico e mudança científica. O impacto acadêmico geralmente é medido pelo tanto que um estudo ou artigo é citado por outros, enquanto a mudança científica se refere a como um estudo muda ou desafia as ideias existentes na sua área. Muita gente pode achar que uma pesquisa impactante precisa ser disruptiva e que uma pesquisa disruptiva também deveria ser impactante. Mas isso não é sempre verdade.
Estudos recentes mostram que, embora artigos disruptivos costumem ser mais citados que a média, artigos impactantes não necessariamente levam a mudanças significativas. Isso cria um panorama complicado sobre o que torna uma pesquisa valiosa e como ela é reconhecida.
O Papel das Citações
As citações são uma parte chave da avaliação acadêmica. O desempenho dos pesquisadores é frequentemente avaliado com base no número de citações que seu trabalho recebe. Métricas tradicionais, como contagem de citações, ajudam a medir quão reconhecido um estudo é dentro da comunidade científica. Essas métricas têm um papel importante nas decisões sobre financiamento de pesquisa, promoções e segurança no emprego.
Apesar da importância, essas métricas de Citação não são a única medida de qualidade de um artigo. Algumas pesquisas se concentram em entender como as citações são influenciadas por vários fatores, como pesquisas interdisciplinares, que podem levar a taxas de citação mais altas até um certo ponto. No entanto, se aventurar demais em diferentes áreas pode resultar em um impacto menor. Além disso, diferentes fatores influenciam como os autores progridem em suas carreiras, incluindo períodos de baixa produtividade onde os autores ainda podem produzir trabalhos inovadores.
Entendendo a Disrupção na Pesquisa
Para capturar melhor a ideia de mudança científica, foi desenvolvido um parâmetro conhecido como "disruption score". Esse score ajuda a diferenciar trabalhos disruptivos de trabalhos mais convencionais e de desenvolvimento. Embora alguns aleguem que o disruption score pode ser enganoso, estudos recentes mostraram que artigos disruptivos não só têm altos scores de disrupção, mas também atraem muitas citações.
Os pesquisadores descobriram que artigos com muitos autores tendem a ser mais citados, mas os que são realmente disruptivos geralmente vêm de equipes menores. Também tem um padrão onde os pesquisadores produzem trabalhos inovadores durante períodos de baixa produtividade e artigos de alto impacto durante períodos mais corridos.
Nos estudos, foi mostrado que quase 1% dos artigos disruptivos podem receber uma grande parte das citações. No entanto, à medida que mais artigos são incluídos na análise, essa correlação positiva muda para negativa. Geralmente, artigos muito citados têm menos probabilidade de serem disruptivos.
Disrupção em Diferentes Áreas
Para ter uma imagem mais clara, os pesquisadores analisam dados de áreas como Ciência da Computação e Física. Ao olhar para uma ampla gama de artigos, eles os classificam com base em seus disruption scores e contagens de citações para ver como eles se relacionam.
Quando examinam os principais artigos disruptivos, os pesquisadores notam que muitos desses trabalhos altamente disruptivos são reconhecidos por um número maior de citações, especialmente nas fases iniciais de seu impacto. No entanto, os resultados diferem de uma área para outra, principalmente ao comparar Ciência da Computação com Física. Por exemplo, artigos disruptivos em Física podem não ser citados com tanta frequência, o que leva a padrões de correlação diferentes.
Os pesquisadores também testam a consistência desses achados em diferentes períodos de tempo para garantir que os resultados permaneçam robustos. Os dados mostram que, independentemente do período considerado, artigos disruptivos continuam a mostrar uma correlação positiva com citações, mas só por um tempo. À medida que mais artigos são introduzidos na análise, os resultados começam a refletir uma correlação negativa.
Investigando os Artigos Mais Citados
Após analisar artigos disruptivos, os pesquisadores mudam o foco para os artigos mais citados para ver como eles se comparam com os disruption scores. Eles descobrem que esses artigos altamente citados tendem a ser menos disruptivos, reforçando a ideia de que nem todos os artigos impactantes levam a mudanças científicas significativas.
A correlação entre impacto e disrupção parece aumentar em publicações mais antigas, mas fica menos pronunciada ao longo do tempo. Essa tendência destaca que, nos últimos anos, houve uma clara tendência de queda, indicando que artigos altamente citados têm menos probabilidade de desafiar as normas existentes em suas respectivas áreas.
Para verificar a confiabilidade dessas conclusões, experimentos adicionais são realizados usando tanto scores de disrupção padronizados quanto modelos nulos, que ajudam a isolar possíveis vieses indesejados nos dados. Esses testes confirmam que os achados são consistentes em diferentes medidas, reforçando as conclusões tiradas da análise inicial.
O Impacto das Carreiras Científicas
Para entender melhor a relação entre disrupção e impacto, os pesquisadores exploram como essas tendências se desenrolam ao longo da carreira de um cientista. Eles consideram pesquisadores de longa data que publicaram muito ao longo de um período significativo.
Ao relacionar autores aos seus respectivos artigos, os pesquisadores descobrem que os artigos mais disruptivos na carreira de um cientista geralmente atraem uma quantidade considerável de citações, semelhante às análises anteriores no nível dos artigos. Isso significa que os padrões observados em artigos individuais também estão presentes ao olhar para o corpo de trabalho de um pesquisador.
Mais uma vez, os achados revelam que, embora os artigos mais disruptivos recebam uma boa parte de reconhecimento, há uma correlação negativa geral entre disrupção e citações ao longo de toda a carreira. Isso sugere que, mesmo que certos trabalhos possam ser inovadores, eles nem sempre são reconhecidos da mesma forma que pesquisas mais convencionais.
O passo final é analisar os artigos mais citados no nível da carreira, e os resultados continuam a espelhar achados anteriores. Os dados mostram que os artigos mais citados pelos pesquisadores são geralmente menos disruptivos, reforçando a ideia estabelecida em seções anteriores.
Conclusão: Repensando Métricas de Avaliação
Resumindo, a relação entre impacto acadêmico e mudança científica não é simples. Trabalhos altamente disruptivos tendem a receber mais citações, mas citações significativas não implicam disrupção. Os pesquisadores enfrentam duas escolhas quando se trata de aumentar suas taxas de citação: produzir trabalhos realmente disruptivos ou focar em criar estudos que chamem atenção sem necessariamente inovar.
Enquanto as métricas de disrupção receberam críticas por potencialmente inflacionar o impacto de um artigo sem respaldo substancial, esta pesquisa indica que artigos genuinamente disruptivos costumam atrair uma quantidade significativa de reconhecimento. Os achados sugerem que se basear apenas nas contagens de citações pode obscurecer contribuições verdadeiramente inovadoras.
Além disso, um equilíbrio nos métodos de avaliação é necessário. Em vez de priorizar uma dimensão em detrimento da outra, uma análise abrangente poderia fornecer uma imagem mais clara do que torna a pesquisa realmente impactante. Isso ajudaria a reconhecer trabalhos que são tanto inovadores quanto influentes, beneficiando a comunidade científica como um todo.
Título: Breaking down the relationship between academic impact and scientific disruption
Resumo: We examine the tension between academic impact - the volume of citations received by publications - and scientific disruption. Intuitively, one would expect disruptive scientific work to be rewarded by high volumes of citations and, symmetrically, impactful work to also be disruptive. A number of recent studies have instead shown that such intuition is often at odds with reality. In this paper, we break down the relationship between impact and disruption with a detailed correlation analysis in two large data sets of publications in Computer Science and Physics. We find that highly disruptive papers tend to be cited at higher rates than average. Contrastingly, the opposite is not true, as we do not find highly impactful papers to be particularly disruptive. Notably, these results qualitatively hold even within individual scientific careers, as we find that - on average - an author's most disruptive work tends to be well cited, whereas their most cited work does not tend to be disruptive. We discuss the implications of our findings in the context of academic evaluation systems, and show how they can contribute to reconcile seemingly contradictory results in the literature.
Autores: Mingtang Li, Giacomo Livan, Simone Righi
Última atualização: 2023-09-15 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2309.08291
Fonte PDF: https://arxiv.org/pdf/2309.08291
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.