Medindo a Qualidade em Dados de Pesquisa e Software

Dados de Pesquisa e softwares são resultados importantes do trabalho científico. Mas não tem como medir a qualidade deles do jeito que fazemos com as publicações acadêmicas tradicionais. Esse artigo fala sobre um esforço pra criar uma medida de qualidade especificamente pra dados de pesquisa e softwares. Essa medida tá sendo desenvolvida por um grupo na Associação Helmholtz, que é uma rede de centros de pesquisa na Alemanha. O objetivo é criar uma ferramenta que ajude a avaliar a qualidade desses resultados e garantir que eles contribuam de forma eficaz pra comunidade científica.

#Contexto

No mundo científico, a avaliação da qualidade da pesquisa geralmente se baseia nas publicações científicas. Os artigos em texto têm processos estabelecidos pra garantir a qualidade, mas isso não se aplica a dados de pesquisa e softwares. Esses resultados representam aspectos valiosos do trabalho científico, especialmente agora que a pesquisa depende cada vez mais de dados e softwares.

A Associação Helmholtz reconhece essa necessidade e decidiu incluir dados de pesquisa e softwares nos seus indicadores de desempenho. A ideia é aumentar a conscientização sobre a variedade de resultados de pesquisa, alinhar as avaliações com o crescente cenário de ciência digital e aberta, e incentivar os pesquisadores a melhorar a qualidade.

O grupo que tá trabalhando nessa medida de qualidade inclui cientistas, desenvolvedores de software, curadores de dados e outros envolvidos na elaboração de resultados de pesquisa. O artigo vai resumir a visão deles pra criar um indicador de qualidade.

#Definições

Pra evitar confusões, é importante esclarecer o que se entende por dados de pesquisa e softwares de pesquisa nesse contexto.

• Dados de Pesquisa: Refere-se a dados coletados, criados ou usados em atividades científicas. Eles são usados pra suportar os achados de pesquisa e são reconhecidos na comunidade científica como necessários pra validação. Isso pode variar de dados experimentais complexos a conjuntos de dados padrão.

• Software de Pesquisa: Significa software desenvolvido ao longo do processo de pesquisa. Pode incluir software em várias fases de maturidade, desde uso pessoal até suporte a longo prazo e aplicações críticas.

Resultados de pesquisa são definidos como objetos digitais disponibilizados permanentemente na Internet, permitindo que outros acessem e usem.

#Desenvolvimento de Critérios de Qualidade

O processo de desenvolver uma medida de qualidade exige abordar várias questões-chave:

1. Quais critérios devem ser avaliados pra qualidade?
2. Como medir a qualidade de cada critério?
3. Como combinar essas medições em uma única pontuação de qualidade?
4. Como automatizar o processo de coleta dessas medições de qualidade?

Como o indicador de qualidade precisa ser adequado pra várias áreas de pesquisa, uma abordagem genérica é necessária.

Pra definir os critérios de qualidade, o grupo tá usando conceitos estabelecidos como os Princípios FAIR, que significam Encontrabilidade, Acessibilidade, Interoperabilidade e Reutilização. Além disso, o Modelo de Maturidade COBIT vai ser utilizado, que oferece uma maneira de avaliar a qualidade olhando pra processos e estágios de desenvolvimento.

A pontuação final de qualidade vai ser derivada de várias medições, ilustrando a natureza multifacetada da qualidade.

#Metodologia

Criar uma medida de qualidade envolve seguir uma abordagem estruturada.

1. Definir Dimensões de Qualidade: O primeiro passo é identificar várias dimensões em relação às quais a qualidade pode ser avaliada. Isso pode incluir aspectos como métodos de publicação, abertura, curadoria e qualidade de metadados.

2. Identificar Atributos: Pra cada dimensão, um conjunto de atributos específicos deve ser identificado. Esses atributos vão capturar as várias facetas da qualidade.

3. Pontuar Atributos: Cada atributo vai ser avaliado segundo uma escala de maturidade, permitindo uma representação numérica da qualidade.

4. Agregar Pontuações: Usando médias ponderadas, as pontuações de todos os atributos vão ser combinadas pra resultar em um nível de maturidade pra cada dimensão.

5. Visualizar Resultados: Por fim, os resultados podem ser representados visualmente, por exemplo, usando gráficos radar pra mostrar como diferentes resultados de pesquisa se saem nas dimensões de qualidade.

Essa abordagem estruturada permite um método minucioso, mas gerenciável, de avaliar a qualidade em diversos resultados.

#Avaliação da Qualidade de Dados de Pesquisa

Ao avaliar a qualidade dos dados de pesquisa publicados, cinco dimensões principais vão ser consideradas:

1. Publicação: Essa dimensão analisa como os dados são publicados, incluindo se têm um identificador único e se estão armazenados em repositórios reconhecidos.

2. Abertura: Foca na acessibilidade dos dados, incluindo se estão disponíveis abertamente e qual tipo de licença têm.

3. Curadoria: Essa dimensão avalia quão bem os dados foram organizados e documentados, o que pode aumentar sua utilidade para outros.

4. Metadados: Metadados de qualidade são cruciais pra tornar os dados encontráveis e interpretáveis. Essa dimensão vai avaliar a qualidade e a estrutura dos metadados fornecidos junto com os dados.

5. Visão Externa: Inclui uma avaliação baseada nas melhores práticas e requisitos específicos da comunidade, dando uma perspectiva mais ampla sobre a qualidade dos dados.

#Avaliação da Qualidade de Software de Pesquisa

Pra software de pesquisa, seis dimensões vão ser avaliadas:

1. Encontrabilidade: Essa dimensão considera se os pesquisadores conseguem encontrar o software e identificar sua versão.

2. Acessibilidade: Acessibilidade analisa se o software pode ser usado facilmente e quais condições se aplicam ao seu uso.

3. Interoperabilidade: Avalia a capacidade do software de funcionar dentro de sistemas e estruturas maiores.

4. Reutilização: Foca em quão facilmente o software pode ser adaptado para outros usos.

5. Base Científica: Verifica se o software tá alinhado com os padrões e práticas da comunidade.

6. Base Técnica: Essa dimensão avalia o processo de desenvolvimento do software, incluindo aspectos da engenharia de software profissional.

#Níveis de Qualidade e Maturidade

Pra dados de pesquisa e software, a avaliação da qualidade vai usar uma escala pra classificar a maturidade de diferentes atributos.

Os níveis de maturidade podem ser categorizados da seguinte forma:

• Nível 0: Nenhuma informação disponível.
• Nível 1: Informação inicial disponível.
• Nível 2: Informação é repetível, mas ainda não formalizada.
• Nível 3: Um processo definido pra compilar informações existe.
• Nível 4: O processo é gerenciado e monitorado.
• Nível 5: O processo é otimizado pra melhoria contínua.

A pontuação de cada atributo vai refletir seu nível de maturidade, baseando-se nos níveis anteriores. Essa pontuação abrangente vai permitir uma compreensão mais sutil da qualidade.

#Representação Visual

Pra tornar a avaliação de qualidade mais compreensível, os resultados podem ser visualizados através de gráficos radar. Esses gráficos vão mostrar o desempenho de dados de pesquisa ou software em todas as dimensões de qualidade, oferecendo uma comparação clara e destacando pontos fortes e fracos.

#Considerações Finais

O objetivo geral de desenvolver esse indicador de qualidade é fornecer uma forma justa de avaliar dados de pesquisa e softwares. A ideia é criar uma conscientização sobre a diversidade dos resultados de pesquisa, alinhar as avaliações com as práticas modernas e incentivar os pesquisadores a melhorar.

Esse artigo esboça uma jornada em andamento rumo ao estabelecimento de uma estrutura robusta pra avaliar a qualidade da pesquisa. O grupo tá aberto a contribuições e feedback da comunidade científica mais ampla pra refinar e aprimorar essa abordagem. A ideia é que esse indicador evolua continuamente, refletindo mudanças e avanços nas metodologias de pesquisa.

Resumindo, ao implementar um indicador de qualidade pra dados de pesquisa e softwares, a Associação Helmholtz busca contribuir pra melhoria geral da qualidade e confiabilidade científica. Essa iniciativa representa um passo em direção ao reconhecimento da importância de dados e softwares como resultados essenciais da pesquisa, garantindo que recebam a atenção e validação que merecem no cenário científico.