Desafios e Tendências em Compartilhar Artefatos de Pesquisa em Software

Nos últimos anos, pesquisadores em engenharia de software (SE) têm sido incentivados a compartilhar seus Artefatos de pesquisa junto com suas publicações. Artefatos podem incluir código, dados e outros materiais que apoiam as descobertas de um artigo. Compartilhar esses materiais ajuda os outros a entender, verificar e construir sobre o trabalho. No entanto, a situação atual de compartilhamento desses artefatos, junto com sua Qualidade e impacto, precisa ser melhor compreendida.

Este artigo foca em estudar e caracterizar o compartilhamento de artefatos em publicações de SE. Ele analisa vários aspectos, como como os pesquisadores compartilham seus artefatos, como eles os mantêm, sua Popularidade e sua qualidade.

#Coleta de Dados

Para coletar dados, analisamos 2.196 artigos publicados nas principais conferências de SE de 2017 a 2022, extraindo um total de 1.487 artefatos. As conferências que focamos são bem consideradas na indústria e conhecidas por seus altos padrões de pesquisa.

O estudo examina quatro áreas principais:

1. Práticas comuns para compartilhar artefatos.
2. Manutenção de artefatos após a publicação.
3. Popularidade de artefatos dentro da comunidade.
4. A qualidade geral desses artefatos.

#Práticas Comuns para Compartilhar Artefatos

Ao olhar como os pesquisadores compartilham seus artefatos, foi constatado que um número crescente de publicações agora inclui links para esses materiais. A porcentagem de artigos que fornecem artefatos aumentou de 60,1% em 2017 para 81,1% em 2022.

Os pesquisadores usam diferentes plataformas para armazenar e compartilhar artefatos, sendo o GitHub a escolha mais popular. Muitos pesquisadores preferem o GitHub por sua facilidade de uso e familiaridade, embora algumas conferências recomendem plataformas como o Zenodo, que é projetado especificamente para compartilhar materiais de pesquisa. A porcentagem de artefatos no Zenodo subiu de 0% em 2017 para 16% em 2022.

O Python emergiu como a linguagem de programação mais usada para esses artefatos, superando o Java, que era tradicionalmente preferido. Em 2022, 61,1% dos artefatos estavam escritos em Python, refletindo a crescente tendência de usar essa linguagem versátil na pesquisa.

#Manutenção de Artefatos

Manter artefatos ao longo do tempo é crucial, já que links podem ficar inativos ou "sumir", o que é frequentemente chamado de link rot. A taxa de link rot aumentou, tornando cada vez mais importante que os pesquisadores garantam que seus artefatos permaneçam acessíveis.

De 2017 a 2022, a taxa de link rot escalou de 4,8% para 29,8%. O método de armazenamento específico afeta a probabilidade de link rot; artefatos em drives temporários tiveram uma alta taxa de inacessibilidade, enquanto os armazenados no GitHub e no Zenodo tiveram taxas mais baixas de desaparecimento.

É também importante que os pesquisadores atualizem seus artefatos. Em média, mais de 90% dos artefatos precisam de atualizações contínuas após a publicação. No entanto, a taxa de atualizações diminui com o tempo, com artefatos mais antigos recebendo mais atenção do que os mais novos.

#Popularidade de Artefatos

A popularidade de artefatos pode ser medida pelo número de estrelas que recebem no GitHub. Muitos artefatos recebem pouca atenção, com 65% deles tendo dez estrelas ou menos. Isso sugere que, apesar do crescimento no compartilhamento de artefatos, a maioria não alcança um reconhecimento significativo ou uso no mundo real.

Apenas 3,7% dos artefatos conseguiram superar 100 estrelas, indicando que, embora haja um aumento no compartilhamento de artefatos, muitos desses materiais não atingem um público amplo ou têm um impacto substancial.

#Qualidade dos Artefatos

A qualidade dos artefatos compartilhados é essencial para sua utilidade e confiabilidade. Este estudo também examinou a qualidade da documentação e a prevalência de "code smells", que são indicadores de potenciais problemas no código.

Para artefatos em Python, mais de 96% acionaram alertas de code smell, indicando que muitos artefatos podem não estar em padrão. No caso dos artefatos em Java, a taxa de alertas foi ainda maior, de 98,3%. Os problemas estão mais relacionados a convenções de codificação do que a questões funcionais, o que levanta preocupações sobre a qualidade geral e manutenibilidade desses artefatos.

#Conclusões e Sugestões

Dessa análise, é claro que, embora o compartilhamento de artefatos esteja ganhando força na comunidade de SE, vários desafios permanecem. Para melhorar a qualidade e disponibilidade desses artefatos, algumas recomendações principais podem ser feitas:

1. Melhorar Diretrizes sobre Preparação de Artefatos: Conferências e periódicos devem fornecer diretrizes mais claras sobre a preparação de artefatos, incluindo quais plataformas usar e como documentar artefatos de forma eficaz.

2. Promover Soluções de Armazenamento Sustentáveis: Incentivar os pesquisadores a usar plataformas estabelecidas como GitHub e Zenodo para armazenamento, minimizando o uso de drives temporários e sites pessoais, que são propensos ao link rot.

3. Padronizar Locais de URL: Os URLs dos artefatos devem ser claramente visíveis nas publicações, idealmente em uma seção dedicada. Isso tornaria mais fácil encontrá-los e acessá-los.

4. Incentivar Manutenção Regular: Os pesquisadores precisam tratar seus artefatos como projetos contínuos e não apenas como envios únicos. Atualizações regulares são essenciais para manter os artefatos úteis.

5. Focar em Melhorias de Qualidade: Esforços maiores devem ser feitos para melhorar a qualidade dos artefatos, especialmente em termos de documentação. Arquivos README claros e abrangentes podem melhorar significativamente a usabilidade e reprodutibilidade.

6. Aumentar a Conscientização sobre a Importância dos Artefatos: A comunidade deve continuar a promover um ambiente onde os artefatos sejam valorizados como componentes críticos da pesquisa, e não apenas como materiais suplementares.

#Conclusão

A crescente transparência e compartilhamento de artefatos em publicações de SE representa um progresso positivo na área. No entanto, a comunidade deve enfrentar problemas contínuos relacionados à manutenção, popularidade e qualidade dos artefatos. Ao implementar essas sugestões, pesquisadores e organizadores de conferências podem aumentar a eficácia e o impacto dos artefatos de pesquisa, beneficiando, em última análise, a ampla comunidade de engenharia de software.

À medida que os artefatos de pesquisa continuam a desempenhar um papel crucial na facilitação da colaboração, verificação e avanço na engenharia de software, o foco em melhorar suas práticas será vital para garantir que os benefícios de compartilhar esses materiais sejam plenamente realizados.