Migliorare la comprensione dell'IA attraverso l'inclusività
Questo studio esplora come gli stili di risoluzione dei problemi migliorano l'engagement degli utenti con i sistemi XAI.
― 7 leggere min
Indice
- L'importanza dell'inclusività nell'IA
- Comprendere i Modelli Mentali
- Stili di risoluzione dei problemi diversi
- Ricerche precedenti nell'interazione uomo-IA
- Lo studio: valutazione di un prototipo XAI
- Domande di ricerca
- Reclutamento dei partecipanti
- Procedura dello studio
- Misurare il coinvolgimento e la comprensione
- Analisi dei risultati
- Modifiche per l'inclusività
- Il ruolo delle spiegazioni nella comprensione
- L'impatto delle modifiche specifiche
- Implicazioni per il design
- Direzioni future
- Conclusione
- Fonte originale
- Link di riferimento
I sistemi di Intelligenza Artificiale Spiegabile (XAI) sono pensati per aiutare gli utenti a capire come funziona l'IA. Però, molti di questi sistemi non tengono conto dei diversi modi in cui le persone pensano e risolvono i problemi. Questo può rendere difficile per alcuni utenti trarre vantaggio dalle spiegazioni fornite da questi sistemi di IA. Questo studio esplora come i diversi stili di risoluzione dei problemi possono essere utilizzati per migliorare un sistema XAI. Abbiamo condotto uno studio con 69 partecipanti per vedere se rendere il sistema più inclusivo aiutasse gli utenti a interagire meglio con le spiegazioni e migliorasse la loro comprensione dell'IA.
L'importanza dell'inclusività nell'IA
L'inclusività nell'IA significa assicurarsi che tutti possano capire e usare questi sistemi, a prescindere dal loro background o dalle loro competenze. Man mano che l'IA diventa più comune, è fondamentale considerare come i gruppi diversi di utenti interagiscono con essa. Migliorare le spiegazioni per un gruppo potrebbe non funzionare per altri. Guardando ai diversi stili di risoluzione dei problemi, possiamo creare sistemi di IA più comprensibili per un'ampia gamma di utenti. Questo documento si propone di scoprire se concentrarsi sugli stili di risoluzione dei problemi può aiutare a rendere i sistemi XAI migliori per più persone.
Modelli Mentali
Comprendere iUn modello mentale rappresenta come un utente crede che funzioni un sistema di IA. È basato sulle sue esperienze e comprensione del mondo. Nell'XAI, l'obiettivo è aiutare gli utenti a costruire modelli mentali corretti in modo che possano fidarsi e interagire efficacemente con l'IA. Con la diffusione della tecnologia IA, capire come funzionano questi sistemi può essere più difficile, soprattutto per gli utenti comuni. Buone spiegazioni possono aiutare gli utenti a sviluppare i giusti modelli mentali dei sistemi di IA. Utilizzando un design inclusivo, speriamo di creare spiegazioni migliori che si rivolgano a una varietà di utenti.
Stili di risoluzione dei problemi diversi
Quando parliamo di stili di risoluzione dei problemi diversi, ci riferiamo ai modi differenti in cui le persone affrontano compiti o capiscono sistemi. Alcuni utenti possono prendersi più rischi, mentre altri potrebbero preferire andare sul sicuro. Alcuni potrebbero divertirsi a imparare attraverso tentativi ed errori, mentre altri potrebbero cercare linee guida chiare e informazioni strutturate. Riconoscere queste differenze è fondamentale per creare sistemi XAI migliori.
Ricerche precedenti nell'interazione uomo-IA
La ricerca sull'interazione uomo-IA si è concentrata su come le persone possano lavorare efficacemente con i sistemi di IA. Anche se capire le prestazioni degli utenti e l'affidabilità del sistema è importante, il ruolo delle differenze individuali negli stili di risoluzione dei problemi ha ricevuto meno attenzione. Gli studi hanno dimostrato che gli utenti hanno preferenze varie per le spiegazioni, che possono influenzare la loro comprensione dell'IA. Puntiamo a colmare questa lacuna esplorando come i diversi stili di risoluzione dei problemi influenzano le interazioni degli utenti con un sistema di IA.
Lo studio: valutazione di un prototipo XAI
Per testare le nostre idee, abbiamo usato un prototipo XAI che simulava una partita a Tris giocata da due agenti IA. I partecipanti sono stati divisi in due gruppi, uno con la versione originale del prototipo e l'altro con una versione riprogettata che affrontava problemi di inclusività. Abbiamo voluto vedere se la versione riprogettata portava a un migliore Coinvolgimento degli utenti con le spiegazioni e migliorava i modelli mentali.
Domande di ricerca
Ci siamo concentrati su tre domande chiave durante il nostro studio:
- L'uso delle spiegazioni ha impattato la comprensione del sistema di IA da parte dei partecipanti?
- Quale gruppo di partecipanti si è impegnato di più con le spiegazioni del sistema?
- I partecipanti del gruppo riprogettato hanno dimostrato una comprensione migliore del ragionamento dell'IA?
Reclutamento dei partecipanti
Per reclutare partecipanti allo studio, abbiamo usato volantini e email che invitavano gli studenti a partecipare. Abbiamo cercato di includere persone con background e discipline accademiche diverse. Dopo aver selezionato per idoneità, 69 partecipanti hanno preso parte allo studio.
Procedura dello studio
I partecipanti sono stati divisi in due gruppi: il gruppo originale e il gruppo riprogettato. Ogni gruppo è stato assegnato a sessioni in cui interagivano con il prototipo XAI. Durante le sessioni, i partecipanti hanno completato sondaggi per valutare i loro stili di risoluzione dei problemi e hanno ricevuto un tutorial su come usare il gioco. Poi hanno giocato a diverse partite mentre prevedevano le mosse degli agenti IA e ragionavano sulle loro scelte.
Misurare il coinvolgimento e la comprensione
Per valutare quanto bene i partecipanti comprendessero il sistema di IA, abbiamo analizzato le loro interazioni con le spiegazioni fornite dal prototipo. Volevamo vedere se un maggiore coinvolgimento con le spiegazioni portasse a migliori modelli mentali. Abbiamo scoperto che i partecipanti che usavano le spiegazioni più frequentemente avevano generalmente punteggi migliori nella comprensione dell'IA.
Analisi dei risultati
La nostra analisi ha mostrato che i partecipanti nel gruppo riprogettato si sono impegnati di più con le spiegazioni rispetto a quelli del gruppo originale. Questo aumento dell'impegno era legato alle modifiche di inclusività apportate al prototipo XAI. Di conseguenza, i partecipanti del gruppo riprogettato hanno dimostrato una comprensione significativamente migliore rispetto a quelli del gruppo originale.
Modifiche per l'inclusività
Per migliorare l'inclusività, abbiamo applicato un metodo chiamato GenderMag, che identifica e affronta i bug di inclusività nel software. Questo metodo esamina come i diversi stili di risoluzione dei problemi possano influenzare le interazioni degli utenti. Abbiamo implementato diverse modifiche basate su questo approccio, mirando ad aiutare un'ampia gamma di utenti a interagire efficacemente con le spiegazioni fornite dall'IA.
Il ruolo delle spiegazioni nella comprensione
I nostri risultati hanno evidenziato che le spiegazioni offerte dal prototipo XAI hanno giocato un ruolo cruciale nella formazione dei modelli mentali dei partecipanti. I partecipanti che riuscivano a seguire e dare senso alle spiegazioni avevano una comprensione significativamente migliore del comportamento e dei processi decisionali dell'IA.
L'impatto delle modifiche specifiche
Alcune delle modifiche chiave identificate utilizzando il metodo GenderMag includevano:
- Fornire legende per le serie di dati per aiutare gli utenti a differenziare tra più mosse.
- Offrire valori di punteggio esatti nelle spiegazioni per chiarire le decisioni dell'IA.
- Includere funzionalità che permettessero agli utenti di confrontare le mosse meglio classificate fatte dall'IA.
Implicazioni per il design
Il nostro studio suggerisce che l'uso di principi di design inclusivo può aiutare a creare sistemi di IA più efficaci che si rivolgono a una gamma più ampia di utenti. Concentrandoci sui diversi stili di risoluzione dei problemi degli utenti, possiamo migliorare il coinvolgimento degli utenti e migliorare i modelli mentali, portando a una migliore comprensione di come funzionano i sistemi di IA.
Direzioni future
Le future ricerche dovrebbero continuare a esplorare come i diversi stili di risoluzione dei problemi possano informare il design dei sistemi di IA. Raccogliendo più dati sulle esperienze degli utenti, possiamo identificare ulteriori modi per migliorare l'inclusività e l'efficacia del sistema. Inoltre, è fondamentale testare questi risultati in vari contesti e gruppi di utenti per garantire che i benefici del design inclusivo possano essere realizzati ampiamente.
Conclusione
Questo studio mostra l'importanza di considerare l'inclusività nel design dei sistemi di IA. Concentrandoci sui diversi stili di risoluzione dei problemi degli utenti e implementando modifiche per aumentare il coinvolgimento, possiamo migliorare la comprensione e la fiducia nell'IA. I risultati accentuano il beneficio di utilizzare approcci di design inclusivo per creare sistemi di IA accessibili ed efficaci che si rivolgono a un'ampia gamma di utenti.
Titolo: Inclusive Design of AI's Explanations: Just for Those Previously Left Out, or for Everyone?
Estratto: Motivations: Explainable Artificial Intelligence (XAI) systems aim to improve users' understanding of AI, but XAI research shows many cases of different explanations serving some users well and being unhelpful to others. In non-AI systems, some software practitioners have used inclusive design approaches and sometimes their improvements turned out to be "curb-cut" improvements -- not only addressing the needs of underserved users, but also making the products better for everyone. So, if AI practitioners used inclusive design approaches, they too might create curb-cut improvements, i.e., better explanations for everyone. Objectives: To find out, we investigated the curb-cut effects of inclusivity-driven fixes on users' mental models of AI when using an XAI prototype. The prototype and fixes came from an AI team who had adopted an inclusive design approach (GenderMag) to improve their XAI prototype. Methods: We ran a between-subject study with 69 participants with no AI background. 34 participants used the original version of the XAI prototype and 35 used the version with the inclusivity fixes. We compared the two groups' mental model concepts scores, prediction accuracy, and inclusivity. Results: We found four main results. First, it revealed several curb-cut effects of the inclusivity fixes: overall increased engagement with explanations and better mental model concepts scores, which revealed fixes with curb-cut properties. However (second), the inclusivity fixes did not improve participants' prediction accuracy scores -- instead, it appears to have harmed them. This "curb-fence" effect (opposite of the curb-cut effect) revealed the AI explanations' double-edged impact. Third, the AI team's inclusivity fixes brought significant improvements for users whose problem-solving styles had previously been underserved. Further (fourth), the AI team's fixes reduced the gender gap by 45%.
Autori: Md Montaser Hamid, Fatima Moussaoui, Jimena Noa Guevara, Andrew Anderson, Puja Agarwal, Jonathan Dodge, Margaret Burnett
Ultimo aggiornamento: 2024-12-02 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2404.13217
Fonte PDF: https://arxiv.org/pdf/2404.13217
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.