Presentiamo Wizard of Errors: Un Nuovo Strumento per il Design ML

Progettare strumenti che usano il Machine Learning (ML) può essere complicato, soprattutto per i designer che vogliono sapere come gli utenti interagiranno con questi strumenti prima che siano completamente sviluppati. Un metodo comune usato per testare questi strumenti si chiama Wizard of Oz (WoZ). In questo approccio, una persona reale si comporta come se fosse la tecnologia ML, permettendo ai designer di vedere come gli utenti reagiscono a quello che pensano sia uno strumento funzionante.

Tuttavia, una sfida significativa nell'uso del metodo WoZ è simulare gli errori che i modelli ML possono fare. Questi errori sono diversi da quelli che possono fare gli esseri umani e possono influenzare l'esperienza generale dell'utente. Per rendere tutto questo più facile, abbiamo creato uno strumento chiamato Wizard of Errors (WoE), che aiuta i designer a simulare gli errori del ML durante gli studi WoZ.

#La Necessità di Simulare gli Errori del ML

Quando si progettano prodotti che si basano sul ML, è fondamentale considerare come gli errori possano influenzare le esperienze degli utenti. Per esempio, in uno strumento che consiglia film, un certo grado di imprecisione potrebbe essere accettabile. Tuttavia, nelle applicazioni mediche, dove l'accuratezza è fondamentale, anche piccoli errori potrebbero portare a problemi significativi. Testare come gli utenti reagiscono a diversi livelli di accuratezza e tipi di errori può aiutare i designer a evitare problemi in seguito.

#Cos'è Wizard of Errors?

Wizard of Errors (WoE) è uno strumento web che permette ai designer di introdurre diversi tipi di errori ML mentre testano l'esperienza degli utenti. Supporta studi WoZ in cui i designer possono scegliere se imitare una funzione corretta o simulare un errore basato su un insieme di tipi di errore stabiliti. Questa interfaccia consente ai designer di raccogliere feedback prezioso sulle potenziali reazioni degli utenti a questi errori del ML.

#Tipi di Errori del ML

In WoE, ci concentriamo su quattro tipi principali di errori che i modelli ML possono incontrare. Questi sono:

1. Errore di Segmentazione: Questo succede quando il sistema identifica erroneamente parti dell'input, portando a una previsione sbagliata.

2. Errore di Somiglianza: Questo si verifica quando il sistema fa una previsione che è in qualche modo correlata alla risposta corretta ma non del tutto giusta.

3. Errore Wild: Questo tipo di errore è quando il sistema prevede qualcosa che è completamente scollegato dalla risposta giusta.

4. Errore di Mancata Riconoscenza: Questo succede quando il sistema non fornisce alcuna previsione.

Usare queste categorie chiare aiuta i designer a comprendere meglio come diversi errori potrebbero influenzare l'esperienza degli utenti rispetto a metodi tradizionali come le matrici di confusione.

#Come Funziona WoE

L'interfaccia WoE permette ai designer di impostare uno studio caricando un elenco di etichette corrette potenziali e le relative etichette errate. Durante lo studio, i designer possono interagire con i partecipanti come "wizard" per simulare come si comporterebbe il modello ML. Possono scegliere previsioni corrette o selezionare uno dei tipi di errore stabiliti per vedere come reagiscono gli utenti.

L'interfaccia consente anche ai designer di impostare una "precisione target" e regolare il numero di errori per garantire che la simulazione risulti realistica e fornisca feedback utili.

#Condurre uno Studio con WoE

Per testare l'interfaccia WoE, abbiamo lavorato con un gruppo di studenti di design. Sono stati invitati a simulare l'esperienza di un piano cucina intelligente che identifica gli ingredienti in base alle immagini. Questo ha comportato guardare video degli ingredienti aggiunti e utilizzare l'interfaccia WoE per fare previsioni su quali fossero quegli ingredienti.

I partecipanti hanno interagito con il sistema, selezionando risposte corrette o simulando errori in base alla loro comprensione dei filmati che hanno visto. Questo approccio ci ha aiutato a raccogliere informazioni su se i designer potessero riflettere accuratamente gli errori del ML durante le loro simulazioni.

#Risultati dello Studio

#Comprensione degli Errori del ML

Prima di usare lo strumento WoE, i partecipanti avevano poco o nessuna conoscenza dei vari errori del ML. Tuttavia, hanno rapidamente appreso la loro importanza durante lo studio. Hanno riconosciuto che comprendere questi errori è cruciale per progettare migliori interazioni utente. I partecipanti hanno notato che mentre la maggior parte dei tipi di errore era chiara, gli errori di segmentazione causavano una certa confusione.

#Impatto degli Errori sull'Esperienza Utente

I partecipanti credevano che alcuni tipi di errori avrebbero avuto impatti diversi sull'esperienza utente. Pensavano che gli errori di somiglianza potessero essere meno frustranti per gli utenti, mentre altri errori potrebbero portare a una diminuzione della fiducia nel sistema. Questo suggerisce che diversi tipi di errore devono essere considerati nel processo di design per migliorare le esperienze degli utenti.

#Sfide nel Mimare il Comportamento del ML

Nonostante avessero esperienza con il ML, i partecipanti hanno faticato a rispecchiare accuratamente il comportamento di un modello ML. Si concentravano spesso su errori logici e umani invece di simulare accuratamente come un sistema ML potrebbe comportarsi. Questo indica che i designer hanno bisogno di maggiori indicazioni quando simulano errori del ML per garantire una rappresentazione realistica.

#Livelli di Fiducia nelle Previsioni

Un altro risultato interessante è stato che i partecipanti tendevano ad assegnare punteggi di fiducia più alti alle previsioni corrette. Nei sistemi ML reali, i livelli di fiducia possono essere alti anche per previsioni errate, portando a esperienze utente ingannevoli. Questo suggerisce che i designer dovrebbero essere consapevoli di come vengono assegnati i punteggi di fiducia durante le interazioni con gli utenti.

#L'Importanza del Realismo

I partecipanti hanno espresso che era essenziale creare un ambiente di test realistico per comprendere come gli utenti potrebbero reagire a diversi tipi di errori. Hanno suggerito che includere una gamma di errori attraverso diverse fasi del processo di design aiuterebbe a valutare le esperienze degli utenti in modo più efficace.

#Limitazioni e Direzioni Future

Anche se questo studio ha fornito preziose intuizioni, ci sono alcune limitazioni. L'interfaccia WoE è progettata per scenari in cui i designer possono identificare accuratamente le risposte corrette. Questo potrebbe non essere applicabile a tutti i tipi di scenari ML.

Inoltre, questo studio ha coinvolto un piccolo gruppo di studenti di design da un'università, il che potrebbe limitare la generalizzabilità dei risultati. Le ricerche future dovrebbero mirare a includere un gruppo più grande e diversificato di partecipanti per convalidare questi risultati ed esplorare come WoE possa essere applicato in diversi contesti ML oltre al riconoscimento delle immagini.

#Conclusione

Lo strumento Wizard of Errors (WoE) è una risorsa utile per i designer che si confrontano con le complessità di integrare il Machine Learning nei loro prodotti. Permettendo ai designer di simulare gli errori del ML, WoE può fornire preziose intuizioni su come gli utenti interagiscono con queste tecnologie. Comprendere e testare questi errori già all'inizio del processo di design può portare a migliori esperienze utente e ridurre il rischio di creare sistemi che non funzionano bene. Man mano che i designer continuano a esplorare nuove applicazioni per il ML, avere strumenti come WoE può aiutare a garantire che considerino l'importanza dei tipi di errore nel loro lavoro di design.