Melhorando a Precisão na Atribuição de Problemas Através de Capturas de Tela
Esse estudo analisa como capturas de tela podem melhorar a precisão das atribuições de problemas.
― 6 min ler
Em muitas empresas de software, lidar com Problemas relatados pelos usuários é fundamental. Esse processo envolve atribuir os problemas reportados a equipes ou pessoas específicas responsáveis por resolvê-los. A eficiência dessa atribuição pode afetar muito a rapidez e a qualidade das atualizações de software.
Processo Atual de Atribuição de Problemas
Na Softtech, uma grande empresa de software, um sistema chamado IssueTAG tem sido usado para automatizar a atribuição de problemas relatados. Esse sistema analisa o texto nos campos de resumo e descrição dos Relatórios de problemas para determinar quem deve lidar com cada questão. Mesmo com o sistema em uso há um tempo, foi notado que a Precisão das atribuições pode não ser tão alta quanto desejada.
O Papel das Capturas de tela
Uma boa parte dos problemas relatados vem com anexos, especialmente capturas de tela. Essas capturas costumam conter informações visuais que podem ajudar a esclarecer o problema que está sendo reportado. No entanto, quando os usuários incluem capturas de tela, eles tendem a escrever resumos e descrições mais curtos. Isso pode resultar em informações menos úteis para o sistema IssueTAG, afetando sua performance em fazer atribuições precisas.
Analisando os Benefícios das Capturas de Tela
Para resolver a questão da precisão na atribuição, a ideia é explorar como usar as informações das capturas de tela pode melhorar o processo de atribuição. O objetivo é desenvolver métodos que utilizem tanto o texto do relatório quanto as informações das capturas anexadas para aprimorar esse processo.
Soluções Propostas
Vários métodos foram desenvolvidos para avaliar essa ideia. Esses métodos se dividem em duas categorias: os que usam apenas as informações das capturas de tela e os que utilizam tanto o texto dos relatórios quanto as capturas. A eficácia desses métodos foi testada com relatórios reais de problemas enviados à Softtech.
A Importância da Precisão
Acertar a atribuição é importante por várias razões. Cada relatório de problema é sensível ao tempo, especialmente em empresas onde o software desempenha um papel crucial nas operações. Melhorar a precisão das atribuições pode levar a resoluções mais rápidas e, no fim das contas, a uma experiência melhor para os usuários.
Capturas de Tela vs. Informações Textuais
Através da análise, ficou claro que usar capturas de tela tem vantagens distintas. As capturas podem fornecer um contexto que descrições escritas podem não transmitir. Por exemplo, uma captura pode mostrar uma mensagem de erro ou um problema diretamente, facilitando para a equipe entender e resolver o problema.
Metodologia do Estudo
O estudo envolveu examinar um conjunto de relatórios de problemas reais e comparar diferentes modelos de atribuição. Cada modelo foi avaliado com base na sua capacidade de atribuir corretamente os problemas. Os resultados foram analisados para determinar qual modelo teve o melhor desempenho em diferentes cenários.
Descobertas do Estudo
As descobertas indicaram que modelos que usavam tanto texto quanto capturas tendiam a ter uma precisão maior em comparação àqueles que usavam apenas texto. Isso apoia a hipótese de que elementos visuais podem contribuir significativamente para uma melhor compreensão e resolução dos problemas relatados.
Desmembrando os Modelos
Diferentes abordagens foram testadas para ver como elas se saíram na prática. Alguns modelos dependeram apenas do texto, enquanto outros integraram texto e capturas. Os resultados mostraram que combinar as duas fontes de informação levou a uma melhor precisão sem introduzir uma sobrecarga inaceitável no tempo de processamento.
O Desafio das Características Visuais
Apesar dos benefícios claros de usar capturas de tela, um desafio foi a semelhança no design usado em muitos produtos da Softtech. Essa semelhança dificultou a distinção de qual equipe deveria ser atribuída com base apenas em informações visuais. Como resultado, confiar somente nos aspectos visuais nem sempre foi eficaz.
A Necessidade de Informações Abrangentes
Tanto as entradas textuais quanto as visuais desempenham papéis cruciais na atribuição de problemas. O texto geralmente explica o contexto e o comportamento esperado, enquanto as capturas fornecem evidências do problema. Ignorar uma das fontes pode levar a mal-entendidos e atribuições erradas.
O Impacto no Treinamento e no Tempo de Resposta
Adicionar a capacidade de processar capturas de tela vem com um tempo de processamento adicional. No entanto, esse tempo extra foi considerado aceitável para a empresa, significando que os benefícios de uma melhor precisão superaram as desvantagens de tempos de processamento um pouco mais longos.
Resultados e Implicações
Com a introdução de novos modelos que utilizam tanto texto quanto capturas de tela, a precisão das atribuições de problemas melhorou significativamente. A combinação das fontes permitiu uma compreensão mais detalhada de cada problema, resultando em melhores resultados.
Conclusão
Explorar o uso de capturas de tela nas atribuições de problemas é um passo valioso. Isso destaca a importância de incorporar diversas fontes de informação em sistemas automatizados. Ao entender o papel dos dados visuais, as empresas podem melhorar seus processos de gerenciamento de problemas e oferecer um serviço melhor aos seus usuários.
Direções Futuras
O foco contínuo será em refinar ainda mais esses métodos. Há potencial para melhorias ainda maiores na precisão das atribuições ao desenvolver técnicas especializadas que se concentrem nas partes mais relevantes das capturas de tela ou ao incorporar outros tipos de anexos também.
Resumo das Oportunidades de Pesquisa Futura
Foco em Áreas Importantes nas Capturas de Tela: Trabalhos futuros poderiam explorar como identificar e priorizar as regiões chave de interesse dentro de uma captura para uma resolução de problemas mais eficaz.
Ampliar o Uso de Anexos: Outros tipos de anexos poderiam ser analisados para ver como também poderiam contribuir para o processo de atribuição.
Integração em Outros Processos: Os insights obtidos dessa pesquisa poderiam potencialmente ser aplicados a outros processos de desenvolvimento de software, incluindo a avaliação dos níveis de severidade dos problemas e a identificação de duplicatas.
Testes em Diferentes Ambientes: Estudos futuros em diferentes configurações e empresas poderiam fornecer mais dados sobre a eficácia desses métodos e as melhores práticas para implementação.
Ao focar nesses aspectos, as empresas podem não apenas melhorar seus sistemas atuais, mas também se preparar para os desafios futuros na gestão de problemas.
Título: Using Screenshot Attachments in Issue Reports for Triaging
Resumo: In previous work, we deployed IssueTAG, which uses the texts present in the one-line summary and the description fields of the issue reports to automatically assign them to the stakeholders, who are responsible for resolving the reported issues. Since its deployment on January 12, 2018 at Softtech, i.e., the software subsidiary of the largest private bank in Turkey, IssueTAG has made a total of 301,752 assignments (as of November 2021). One observation we make is that a large fraction of the issue reports submitted to Softtech has screenshot attachments and, in the presence of such attachments, the reports often convey less information in their one-line summary and the description fields, which tends to reduce the assignment accuracy. In this work, we use the screenshot attachments as an additional source of information to further improve the assignment accuracy, which (to the best of our knowledge) has not been studied before in this context. In particular, we develop a number of multi-source (using both the issue reports and the screenshot attachments) and single-source assignment models (using either the issue reports or the screenshot attachments) and empirically evaluate them on real issue reports. In the experiments, compared to the currently deployed single-source model in the field, the best multi-source model developed in this work, significantly (both in the practical and statistical sense) improved the assignment accuracy for the issue reports with screenshot attachments from 0.843 to 0.858 at acceptable overhead costs, a result strongly supporting our basic hypothesis.
Autores: Ethem Utku Aktas, Cemal Yilmaz
Última atualização: 2023-06-06 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2306.03634
Fonte PDF: https://arxiv.org/pdf/2306.03634
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.