Aumentando a Repetibilidade na Pesquisa de Videogames
Uma olhada na importância da transparência e da replicabilidade nos estudos de videogames.
― 6 min ler
Índice
- A Importância da Replicabilidade na Pesquisa de Videogames
- Desafios das Ferramentas Customizadas na Pesquisa
- O Papel dos Dados Abertos na Pesquisa
- Estado Atual dos Dados de Usuários na Pesquisa de Videogames
- Recomendações para Melhorar a Transparência
- O Futuro da Pesquisa em Videogames
- Conclusão
- Fonte original
- Ligações de referência
A pesquisa em videogames sempre enfrenta uns perrengues. Um dos maiores problemas é que é complicado para os pesquisadores repetirem estudos. Quando não conseguem repetir os experimentos, fica difícil concordar com os resultados. Isso atrapalha o avanço da área e complica a criação de Conjuntos de dados públicos úteis. Para resolver isso, é fundamental conversar abertamente sobre os métodos usados na pesquisa e compartilhar detalhes sobre como os experimentos são montados. Isso ajuda todo mundo na área quando eles planejam seus estudos.
A Importância da Replicabilidade na Pesquisa de Videogames
Replicabilidade é importante em todas as áreas científicas, incluindo a pesquisa de videogames. Replicar um estudo significa rodá-lo de novo usando os mesmos métodos e condições. No mundo dos videogames, isso é especialmente relevante. Vamos supor que dois pesquisadores estudem como a falta de sono afeta os jogadores durante os jogos. Se um usar o Beat Saber e o outro um jogo customizado com uma abordagem diferente, os resultados podem variar. Mesmo que ambos estejam testando a mesma ideia, a forma como coletam dados pode levar a resultados diferentes.
Esse problema rola bastante quando os pesquisadores usam ferramentas ou personagens que eles mesmos criaram. Essas ferramentas podem não ser compartilhadas com outros, o que dificulta para outros pesquisadores entenderem ou reproduzirem seus estudos. Transparência, que significa ser claro sobre como a pesquisa é feita, é vital para a replicabilidade.
Desafios das Ferramentas Customizadas na Pesquisa
Usar ferramentas customizadas nos estudos pode introduzir viés, já que os pesquisadores podem focar em resultados específicos que querem ver. Se dois estudos produzem resultados diferentes, mas usam ferramentas que não são transparentes, fica complicado saber por que os resultados divergem. Para melhorar a pesquisa, é crucial documentar cada passo do processo. Isso inclui disponibilizar as ferramentas para que outros pesquisadores possam ver como funcionam e usá-las se necessário.
Para replicar de verdade a pesquisa em estudos de videogames, os pesquisadores devem compartilhar o que fazem para que outros possam seguir seus passos facilmente. Isso inclui compartilhar códigos-fonte, questionários e qualquer software usado para analisar dados.
O Papel dos Dados Abertos na Pesquisa
Dados abertos referem-se a tornar os dados da pesquisa acessíveis gratuitamente para todo mundo. Muitos cientistas acreditam que compartilhar dados deveria ser parte básica do processo de pesquisa. Se os pesquisadores puderem acessar dados de outros estudos, eles podem construir sobre essas descobertas e expandir o conhecimento na área. No entanto, muitos pesquisadores são relutantes em compartilhar seus dados. Estudos mostram que um número significativo de pesquisadores não compartilha suas descobertas de bom grado. Essa falta de compartilhamento pode travar o progresso na pesquisa de videogames.
Disponibilizar dados não ajuda só os outros; também pode levar a mais citações e reconhecimento para os pesquisadores originais. No entanto, os dados precisam ser bem organizados e claros para serem úteis. Dados apresentados de forma confusa podem criar confusão e atrapalhar futuros esforços de pesquisa.
Estado Atual dos Dados de Usuários na Pesquisa de Videogames
Quando se trata de conjuntos de dados de videogames centrados no ser humano, existem poucos. A maioria dos conjuntos de dados foca em inteligência artificial, em vez do comportamento humano durante o jogo. Por exemplo, alguns conjuntos de dados oferecem filmagens de pessoas jogando, mas não têm dados em tempo real coletados durante a experiência de jogo.
Existem alguns exemplos de conjuntos de dados que incluem dados de usuários humanos. Um conjunto tem várias horas de filmagens de gameplay, enquanto outro oferece dados fisiológicos dos jogadores durante um jogo específico. No entanto, muitos estudos ainda não disponibilizam seus conjuntos de dados de forma livre, levando a problemas de replicabilidade e transparência.
Recomendações para Melhorar a Transparência
Para melhorar a transparência e replicabilidade na pesquisa de videogames, as seguintes recomendações devem ser consideradas:
1. Escolher as Ferramentas Certas
Quando os pesquisadores escolhem ferramentas de medição, devem garantir que essas ferramentas sejam adequadas para o estudo e abertas para outros. Se um questionário for usado, os pesquisadores devem compartilhar as perguntas e os métodos de pontuação.
2. Usar Jogos Prontos
Usar jogos já existentes pode aumentar a generalizabilidade dos achados da pesquisa. Jogos prontos costumam ter opções de modificação, permitindo que os pesquisadores adaptem o jogo mantendo suas características principais.
3. Documentar Tudo
Cumprir o requisito de replicabilidade significa documentar todos os aspectos da pesquisa, desde a configuração do computador até as perguntas exatas feitas nos questionários. Esse nível de detalhe permite que outros entendam a pesquisa completamente e a reproduzam mais facilmente.
4. Disponibilizar Dados Abertos
Após concluir um estudo, os pesquisadores devem fazer upload de seus dados junto com os materiais relevantes para um repositório público. Isso inclui questionários e códigos-fonte para qualquer jogo ou ferramenta personalizada usada.
5. Colaborar e Compartilhar Experiências
Os pesquisadores devem trabalhar juntos para criar uma comunidade de apoio onde o compartilhamento de dados e a discussão aberta sobre métodos e resultados sejam incentivados. Isso pode gerar confiança e melhorar a qualidade da pesquisa no geral.
O Futuro da Pesquisa em Videogames
O objetivo da pesquisa em videogames deve ser avançar o conhecimento enquanto se cria uma base de confiança e cooperação entre os pesquisadores. Para conseguir isso, replicabilidade e transparência devem estar no centro do processo de pesquisa. Iniciativas que promovam dados abertos, documentação detalhada e colaboração podem ajudar a alcançar esse objetivo.
Ao focar nesses princípios, os pesquisadores podem não só melhorar seu próprio trabalho, mas também contribuir para um corpo de conhecimento mais robusto sobre videogames e seu impacto nos usuários. Isso, no final das contas, vai beneficiar todo mundo na área e além.
Conclusão
Transparência e replicabilidade são elementos essenciais da pesquisa científica, especialmente no contexto dos videogames. À medida que essa área continua a crescer, é crucial que os pesquisadores compartilhem seus métodos e descobertas abertamente. Seguindo as recomendações apresentadas neste artigo, os pesquisadores podem contribuir para um ambiente mais colaborativo e transparente, levando a melhores resultados de pesquisa.
Em resumo, fomentar uma cultura de abertura na pesquisa de videogames vai promover estudos de alta qualidade que podem ser reproduzidos de forma confiável, beneficiando, em última análise, toda a comunidade de pesquisa e aqueles que interagem com videogames.
Título: Replicability and Transparency for the Creation of Public Human User Video Game Datasets
Resumo: Replicability is absent in games research; a lack of transparency in protocol detail hinders scientific consensus and willingness to publish public datasets, impacting the application of these techniques in video games research. To combat this, we propose and give an example of the use of a set of experimental considerations, such as games and materials choice. This work promotes the communication of research protocols when publishing datasets, benefiting researchers when designing experiments.
Autores: Emma J. Pretty, Renan Guarese, Haytham M. Fayek, Fabio Zambetta
Última atualização: 2023-04-06 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2304.02861
Fonte PDF: https://arxiv.org/pdf/2304.02861
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.
Ligações de referência
- https://www.acm.org/about/class
- https://www.acm.org/about/class/class/2012
- https://store.neurosky.com/pages/mindwave
- https://www.brainproducts.com/solutions/actichamp/
- https://shop.openbci.com/products/ultracortex-mark-iv
- https://www.emotibit.com
- https://github.com/serengil/deepface
- https://github.com/TadasBaltrusaitis/OpenFace
- https://www.curseforge.com/
- https://www.nexusmods.com/
- https://www.curseforge.com/minecraft/mc-mods/human-companions
- https://dx.doi.org/
- https://www.ctan.org/pkg/paratype