Cronometrando Revisões Sistemáticas da Literatura em Engenharia de Software

Revisões sistemáticas da literatura (SLRs) são super importantes na área de Engenharia de Software (SE). Nos últimos vinte anos, o número de estudos de SLR aumentou bastante. SLRs são mais complicadas que revisões de literatura normais e precisam de um planejamento e execução cuidadosos. Por causa do esforço envolvido, os pesquisadores precisam ter certeza da necessidade de fazer uma SLR.

Uma pergunta chave é: quando é o momento certo pra fazer uma SLR? Apesar das diretrizes disponíveis, não há uma resposta clara sobre quando começar uma SLR. Este artigo pretende esclarecer esse tema analisando os dados que formam a base dessas revisões.

#Foco do Estudo

O objetivo principal deste estudo é descobrir quais são as características dos Conjuntos de dados usados nas SLRs em SE. Especificamente, queremos saber quantos artigos são revisados normalmente em uma SLR. Saber o tamanho do conjunto de dados pode ajudar os pesquisadores a decidir se é uma boa hora pra fazer uma SLR.

Pra isso, analisamos uma seleção de SLRs publicadas em revistas respeitáveis de SE. Coletamos dados sobre o número de artigos revisados e o período que esses artigos cobrem.

#Trabalhos Relacionados

Embora existam diretrizes que explicam por que as SLRs são importantes e como realizá-las, nenhuma fornece prazos claros ou sugestões sobre quantos artigos incluir em uma SLR. Alguns estudos anteriores analisaram quando atualizar SLRs existentes, mas não as de primeira viagem.

Pesquisas indicam que cada tópico em SE tem padrões de crescimento diferentes, tornando difícil sugerir um número único de artigos para uma SLR. No entanto, entender o tamanho médio dos conjuntos de dados de SLRs passadas pode ajudar futuros pesquisadores a tomarem decisões informadas.

#Abordagem de Pesquisa

Pra responder à pergunta principal, usamos um método conhecido como síntese de pesquisa. Isso significa que pegamos vários estudos sobre o mesmo assunto, resumimos suas descobertas e tiramos conclusões. Olhamos várias SLRs em SE e focamos nos conjuntos de dados usados.

#Coleta de Dados

Pra criar nossa amostra, seguimos uma estratégia de busca específica. Ao invés de tentar reunir todas as SLRs possíveis, buscamos um número razoável que ainda assim nos desse dados sólidos. Só incluímos SLRs de revistas top do campo.

Desenvolvemos uma string de busca que combinava palavras-chave relacionadas a revisões sistemáticas com os nomes de revistas relevantes. Depois de pesquisar em um banco de dados, encontramos 412 artigos. Então, revisamos cuidadosamente esses artigos pra garantir que atendiam aos nossos critérios de SLRs.

#Extração de Dados

O próximo passo foi coletar detalhes importantes sobre as SLRs que aceitamos na nossa amostra. Focamos em três pontos principais:

1. O número de artigos revisados (NoRP).
2. O ano mais antigo de publicação nos artigos revisados.
3. O ano mais recente de publicação nos artigos revisados.

Se uma SLR não fornecesse essa informação, a excluímos da nossa análise. Nossa amostra final consistiu em 170 SLRs.

#Analisando os Dados

Na fase de análise, olhamos o número de artigos e o período que eles cobriam. Calculamos médias e desvios padrão pra entender melhor os dados.

#Visão Geral da Amostra

Primeiro, examinamos as 170 SLRs na nossa amostra. Ao longo dos anos, o número de SLRs publicadas aumentou, embora houvesse alguns anos com menos publicações.

Em nossas descobertas, vimos que o Journal of Systems and Software teve o maior número de SLRs, seguido por Information and Software Technology.

#Características dos Conjuntos de Dados

Ao analisar os conjuntos de dados, encontramos uma grande variação no número de artigos revisados. O menor número foi 6, enquanto o maior foi 925. A média foi de cerca de 80 artigos, o que significa que muitas SLRs revisam mais de 50 artigos.

O período de revisão dos artigos também variou, com a média cobrindo cerca de 14 anos. Algumas SLRs olharam para artigos que abrangem até 41 anos, enquanto outras cobriram apenas 2 anos.

#Relação Entre Variáveis

Também analisamos se havia alguma conexão entre o número de artigos revisados e o período de revisão. No entanto, encontramos pouca ou nenhuma relação entre essas duas variáveis.

Isso significa que simplesmente contar o número de artigos revisados pode não ser uma maneira confiável de avaliar o momento de conduzir novas SLRs. Cada pergunta de pesquisa ou tópico pode ter características únicas que não se encaixam direitinho em uma fórmula.

#Conclusões

Nosso estudo mostra que não existe uma regra clara sobre quantos artigos devem ser incluídos em uma SLR. No entanto, olhar para o número médio de artigos revisados (cerca de 57) e o período típico de revisão (cerca de 14 anos) pode dar uma orientação inicial pros pesquisadores.

Se os pesquisadores estão analisando um tópico onde o número de artigos é significativamente menor que a média, eles podem considerar aquele campo ainda não totalmente desenvolvido. Por outro lado, se há muitos mais artigos que a média, isso pode sugerir que a SLR poderia ter sido feita antes.

#Limitações

Uma limitação significativa deste estudo é que só olhamos para SLRs de revistas específicas e não incluímos aquelas de conferências. Como resultado, nossas descobertas podem não se aplicar a todas as SLRs no campo.

Outra limitação é que o número de artigos revisados só é conhecido após os pesquisadores gastarem tempo coletando os estudos relevantes. Isso torna desafiador usar esse número como um indicador principal de quando conduzir uma SLR.

#Próximos Passos

Este artigo é apenas a primeira parte de uma investigação maior sobre o timing das SLRs em SE. Trabalhos futuros vão explorar outros indicadores, como o número total de artigos encontrados usando nossa estratégia de busca.

Também planejamos investigar fatores que podem afetar o tamanho dos conjuntos de dados das SLRs, como os métodos usados na busca de artigos. Além disso, queremos comparar SLRs publicadas em várias revistas e conferências pra obter uma compreensão mais ampla do tema.

A seguir, vamos investigar aspectos qualitativos, como quais áreas de SE foram revisadas e como isso se relaciona com o desenvolvimento geral do campo.

Acreditamos que as questões levantadas pela nossa pesquisa são importantes para vários tipos de revisões de literatura, não apenas SLRs. Isso significa que nossa abordagem pode ajudar a avançar o conhecimento em diferentes áreas.

O apoio a este estudo foi fornecido por organizações de pesquisa relevantes dedicadas a TI e comunicações.