Apresentando Wizard of Errors: Uma Nova Ferramenta para Design de ML

Criar ferramentas que usam Aprendizado de Máquina (ML) pode ser complicado, especialmente para os designers que querem saber como os usuários vão interagir com essas ferramentas antes delas estarem totalmente desenvolvidas. Um método comum usado para testar essas ferramentas é chamado de método Wizard of Oz (WoZ). Nesse esquema, uma pessoa de verdade age como se fosse a tecnologia de ML, permitindo que os designers vejam como os usuários reagem ao que eles acham que é uma ferramenta funcional.

Mas um desafio significativo ao usar o método WoZ é simular os erros que modelos de ML podem cometer. Esses erros são diferentes dos que humanos podem fazer, e isso pode impactar a experiência do usuário. Para facilitar isso, criamos uma ferramenta chamada Wizard of Errors (WoE), que ajuda os designers a simular erros de ML enquanto conduzem estudos WoZ.

#A Necessidade de Simular Erros de ML

Quando se está criando produtos que dependem de ML, é essencial considerar como os erros podem influenciar as experiências dos usuários. Por exemplo, em uma ferramenta que recomenda filmes, um certo nível de imprecisão pode ser aceitável. Mas, em aplicações médicas onde a precisão é crucial, até mesmo erros pequenos podem causar problemas significativos. Testar como os usuários reagem a diferentes níveis de precisão e tipos de erros pode ajudar os designers a evitarem problemas mais tarde.

#O que é Wizard of Errors?

Wizard of Errors (WoE) é uma ferramenta online que permite que designers introduzam diferentes tipos de erros de ML enquanto testam as experiências dos usuários. Ela suporta estudos WoZ onde os designers podem escolher se vão imitar uma função correta ou simular um erro com base em um conjunto de tipos de erro estabelecidos. Essa interface permite que os designers coletem feedback valioso sobre as possíveis reações dos usuários a esses erros de ML.

#Tipos de Erros de ML

No WoE, focamos em quatro tipos principais de erros que os modelos de ML podem encontrar. Eles são:

1. Erro de Segmentação: Acontece quando o sistema identifica incorretamente partes da entrada, levando a uma previsão errada.

2. Erro de Similaridade: Ocorre quando o sistema faz uma previsão que está meio relacionada à resposta correta, mas não é exatamente isso.

3. Erro Aleatório: Esse tipo de erro é quando o sistema prevê algo que não tem nada a ver com a resposta certa.

4. Erro de Não Reconhecimento: Acontece quando o sistema falha em fornecer qualquer previsão.

Usar essas categorias claras ajuda os designers a entenderem melhor como diferentes erros podem afetar a experiência do usuário, melhor do que métodos tradicionais como matrizes de confusão.

#Como o WoE Funciona

A interface do WoE permite que os designers configurem um estudo fazendo upload de uma lista de rótulos corretos potenciais e rótulos incorretos correspondentes. Durante o estudo, os designers interagem com os participantes como o 'mágico' para simular como o modelo de ML se comportaria. Eles podem escolher previsões corretas ou optar por um dos tipos de erro estabelecidos para ver como os usuários reagem.

A interface também permite que os designers definam uma “precisão-alvo” e ajustem o número de erros para garantir que a simulação pareça realista e forneça feedback útil.

#Conduzindo um Estudo com WoE

Para testar a interface do WoE, trabalhamos com um grupo de estudantes de design. Eles foram convidados a simular a experiência de um balcão de cozinha inteligente que identifica ingredientes com base em imagens. Isso envolveu assistir a vídeos de ingredientes sendo adicionados e usar a interface do WoE para fazer previsões sobre quais eram esses ingredientes.

Os participantes interagiram com o sistema, selecionando respostas corretas ou simulando erros com base em sua compreensão das filmagens que assistiram. Essa abordagem nos ajudou a coletar informações sobre se os designers conseguiam refletir com precisão os erros de ML durante suas simulações.

#Resultados do Estudo

#Compreendendo Erros de ML

Antes de usar a ferramenta WoE, os participantes tinham pouco ou nenhum conhecimento sobre os vários erros de ML. No entanto, eles rapidamente aprenderam sobre a importância deles durante o estudo. Eles reconheceram que entender esses erros é crucial para projetar melhores interações com os usuários. Os participantes notaram que, enquanto a maioria dos tipos de erro era clara, os erros de segmentação causaram certa confusão.

#Impacto dos Erros na Experiência do Usuário

Os participantes acreditavam que certos tipos de erros teriam impactos diferentes na experiência do usuário. Eles pensavam que erros de similaridade poderiam ser menos frustrantes para os usuários, enquanto outros erros poderiam levar à queda de confiança no sistema. Isso sugere que diferentes tipos de erro precisam ser considerados no processo de design para melhorar as experiências do usuário.

#Desafios em Imitar o Comportamento de ML

Apesar de terem experiência com ML, os participantes tiveram dificuldades para espelhar com precisão o comportamento de um modelo de ML. Muitas vezes, eles se concentravam em erros humanos lógicos em vez de simular com precisão como um sistema de ML poderia agir. Isso indica que os designers precisam de mais orientação ao simular erros de ML para garantir uma representação realista.

#Níveis de Confiança nas Previsões

Outro achado interessante foi que os participantes tendiam a atribuir pontuações de confiança mais altas às previsões corretas. Em sistemas de ML do mundo real, os níveis de confiança também podem ser altos para previsões incorretas, gerando experiências enganosas para os usuários. Isso sugere que os designers devem estar cientes de como as pontuações de confiança são atribuídas durante as interações com os usuários.

#A Importância do Realismo

Os participantes expressaram que era essencial criar um ambiente de teste realista para entender como os usuários poderiam reagir a diferentes tipos de erros. Eles sugeriram que incluir uma variedade de erros em diferentes etapas do processo de design ajudaria a avaliar as experiências dos usuários mais efetivamente.

#Limitações e Direções Futuras

Embora este estudo tenha fornecido insights valiosos, há algumas limitações. A interface WoE foi projetada para cenários onde os designers podem identificar corretamente as respostas certas. Isso pode não ser aplicável para todos os tipos de cenários de ML.

Além disso, este estudo envolveu um pequeno grupo de estudantes de design de uma universidade, o que pode limitar a generalização dos achados. Pesquisas futuras devem ter como alvo incluir um grupo maior e mais diverso de participantes para validar esses resultados e explorar como o WoE pode ser aplicado em diferentes contextos de ML além do reconhecimento de imagem.

#Conclusão

A ferramenta Wizard of Errors (WoE) é um recurso útil para designers que lidam com as complexidades de integrar o Aprendizado de Máquina em seus produtos. Ao permitir que os designers simulem erros de ML, o WoE pode fornecer insights valiosos sobre como os usuários interagem com essas tecnologias. Compreender e testar esses erros no início do processo de design pode levar a melhores experiências dos usuários e reduzir o risco de criar sistemas que não funcionam bem. À medida que os designers continuam explorando novas aplicações para o ML, ter ferramentas como o WoE pode ajudar a garantir que eles considerem a importância dos tipos de erro em seu trabalho de design.