Simple Science

Scienza all'avanguardia spiegata semplicemente

# Informatica# Interazione uomo-macchina# Intelligenza artificiale# Apprendimento automatico

Formazione per Migliorare le Decisioni dell'AI

L'addestramento migliora l'uso efficace dell'IA nelle decisioni in diversi settori.

― 5 leggere min


Formazione sulla presa diFormazione sulla presa didecisioni con l'IAcomplesse.efficace dell'IA nelle decisioniLa formazione è fondamentale per un uso
Indice

L'intelligenza artificiale (IA) viene sempre più utilizzata per aiutare le persone a prendere decisioni in ambiti importanti come il lavoro sociale, la sanità e la giustizia penale. Molti credono che l'IA possa migliorare la qualità di queste decisioni. Però, aggiungere semplicemente strumenti IA a questi contesti non garantisce risultati migliori. È fondamentale che le persone che usano questi strumenti ricevano una formazione adeguata per capire e utilizzare efficacemente le previsioni dell'IA.

In molte situazioni, usare l'IA per assistere nelle decisioni non è affatto semplice. L'IA potrebbe non allinearsi sempre con gli obiettivi umani e, spesso, gli esseri umani hanno accesso a informazioni aggiuntive che l'IA non ha. Questo lavoro esplora come la formazione possa aiutare le persone a utilizzare meglio le previsioni dell'IA quando devono prendere decisioni in situazioni complesse dove l'IA ha delle limitazioni.

Contesto

Gli strumenti di supporto decisionale basati sull'IA mirano a migliorare il processo decisionale, soprattutto in ambienti ad alto rischio. Tuttavia, questi strumenti comportano spesso delle sfide. Una grande sfida è che le assunzioni fatte negli studi di laboratorio su come dovrebbe funzionare l'IA non sempre si applicano alle situazioni reali. Ad esempio, le persone potrebbero avere informazioni preziose che l'IA non ha.

Di conseguenza, la formazione deve andare oltre l'uso base di uno strumento IA. La formazione dovrebbe concentrarsi sullo sviluppo di abilità che permettano ai decisori di utilizzare le proprie conoscenze insieme ai suggerimenti dell'IA. Questo si allinea con un concetto chiamato "uso critico", che significa capire quando e come fare affidamento sulle uscite dell'IA in base alle proprie informazioni e contesto.

Concetti Chiave

  1. Mismatch Obiettivo-Costrutto: Questo si riferisce a situazioni in cui le previsioni dell'IA non corrispondono esattamente ai risultati reali che interessano gli esseri umani. Ad esempio, un'IA potrebbe prevedere un punteggio di rischio per un potenziale maltrattamento di un bambino, ma quel punteggio non cattura completamente la sicurezza immediata o il benessere del bambino.

  2. Asimmetria Informativa: Questo è quando gli esseri umani hanno accesso a informazioni importanti che l'IA non ha. Ad esempio, i lavoratori sociali possono considerare storie personali e fattori contestuali che l'IA non può accedere.

  3. Uso Critico: Questo concetto riguarda la capacità di una persona di utilizzare efficacemente le previsioni dell'IA tenendo conto delle proprie conoscenze e degli aspetti unici di ogni situazione. La formazione dovrebbe mirare a migliorare questa abilità.

Importanza della Formazione

La formazione è cruciale perché consente alle persone di sviluppare le competenze necessarie per prendere decisioni informate. In contesti come la selezione per il maltrattamento infantile, dove vengono utilizzati strumenti IA, le scommesse sono alte e le decisioni possono influenzare significativamente le vite. La formazione dovrebbe preparare i professionisti a riflettere criticamente sui suggerimenti dell'IA e a riconoscere quando fare affidamento di più sulle proprie conoscenze.

Migliorando i metodi di formazione, possiamo aiutare le persone a imparare come integrare efficacemente le proprie intuizioni con le previsioni dell'IA. Questo può portare a decisioni complessivamente migliori.

Panoramica dello Studio

La nostra ricerca ha esaminato come la formazione influisce sul modo in cui le persone usano le previsioni dell'IA in situazioni difficili. Abbiamo condotto un esperimento incentrato sulla selezione per il maltrattamento infantile, un'area complessa dove le decisioni possono avere conseguenze serie.

Volevamo sapere se offrire opportunità di pratica e feedback avrebbe aiutato i partecipanti a imparare a prendere decisioni che integrano sia le previsioni dell'IA che le loro conoscenze. Per fare ciò, i partecipanti sono stati divisi in due gruppi: un gruppo ha ricevuto feedback sulle proprie decisioni, mentre l'altro gruppo ha praticato senza feedback esplicito.

Risultati

  1. Apprendimento Tramite Pratica: I partecipanti che si sono allenati tramite pratica ripetuta hanno iniziato a fidarsi meno delle previsioni dell'IA man mano che la loro formazione andava avanti. Inizialmente, spesso concordavano con l'IA, anche quando era sbagliata. Tuttavia, col tempo, hanno iniziato a dissociarsi dall'IA più spesso.

  2. Dissenso con l'IA: Man mano che i partecipanti praticavano, sono diventati migliori nel prendere decisioni che si allineavano con quelle dei lavoratori sociali esperti. Hanno imparato a considerare i dettagli di ogni situazione e a confrontarli con le previsioni dell'IA.

  3. Comprensione degli Obiettivi di Sicurezza: I partecipanti spesso affermavano che il loro obiettivo principale era garantire la sicurezza immediata dei bambini. Questo obiettivo spesso non si allineava con le previsioni a lungo termine fatte dall'IA. Concentrandosi su preoccupazioni immediate, sono stati in grado di prendere decisioni che rispecchiavano maggiormente quelle dei lavoratori esperti.

  4. Effetti del Feedback: Curiosamente, i partecipanti che ricevevano feedback esplicito sulle loro scelte non imparavano necessariamente a prendere decisioni migliori rispetto a quelli che praticavano senza feedback. Quelli che hanno praticato senza feedback riuscivano meglio a comprendere il comportamento dell'IA.

  5. Conoscenza del Contesto: Le informazioni qualitative disponibili dai casi hanno permesso ai partecipanti di calibrare le proprie decisioni in modo efficace. Concentrandosi su dettagli specifici del caso, hanno potuto valutare la situazione meglio di quanto potesse fare l'IA.

Implicazioni Pratiche

I risultati di questo studio suggeriscono implicazioni pratiche per i metodi di formazione. Per la decisione assistita dall'IA in contesti complessi, la formazione dovrebbe concentrarsi su:

  • Incoraggiare il pensiero critico sulle previsioni dell'IA.
  • Fornire formazione che simuli situazioni della vita reale.
  • Sottolineare l'importanza del contesto e delle informazioni qualitative nel processo decisionale.
  • Utilizzare opportunità di pratica che permettano ai partecipanti di riflettere sulle loro decisioni e sui motivi dietro di esse.

Conclusione

L'IA ha il potenziale per migliorare il processo decisionale in ambiti critici, ma la sua efficacia dipende fortemente dalla formazione fornita a chi la utilizza. La nostra ricerca dimostra che la formazione può migliorare l'uso critico aiutando gli individui a imparare a bilanciare i suggerimenti dell'IA con le proprie conoscenze.

Man mano che gli strumenti IA continuano a diffondersi in vari settori, sarà necessario valutare e migliorare continuamente i metodi di formazione per garantire che gli utenti possano prendere le migliori decisioni possibili. Ricerche future possono esplorare modi aggiuntivi per migliorare la formazione, colmando ulteriormente il divario tra intuizione umana e assistenza dell'IA.

Fonte originale

Titolo: Training Towards Critical Use: Learning to Situate AI Predictions Relative to Human Knowledge

Estratto: A growing body of research has explored how to support humans in making better use of AI-based decision support, including via training and onboarding. Existing research has focused on decision-making tasks where it is possible to evaluate "appropriate reliance" by comparing each decision against a ground truth label that cleanly maps to both the AI's predictive target and the human decision-maker's goals. However, this assumption does not hold in many real-world settings where AI tools are deployed today (e.g., social work, criminal justice, and healthcare). In this paper, we introduce a process-oriented notion of appropriate reliance called critical use that centers the human's ability to situate AI predictions against knowledge that is uniquely available to them but unavailable to the AI model. To explore how training can support critical use, we conduct a randomized online experiment in a complex social decision-making setting: child maltreatment screening. We find that, by providing participants with accelerated, low-stakes opportunities to practice AI-assisted decision-making in this setting, novices came to exhibit patterns of disagreement with AI that resemble those of experienced workers. A qualitative examination of participants' explanations for their AI-assisted decisions revealed that they drew upon qualitative case narratives, to which the AI model did not have access, to learn when (not) to rely on AI predictions. Our findings open new questions for the study and design of training for real-world AI-assisted decision-making.

Autori: Anna Kawakami, Luke Guerdan, Yanghuidi Cheng, Matthew Lee, Scott Carter, Nikos Arechiga, Kate Glazko, Haiyi Zhu, Kenneth Holstein

Ultimo aggiornamento: 2023-08-29 00:00:00

Lingua: English

URL di origine: https://arxiv.org/abs/2308.15700

Fonte PDF: https://arxiv.org/pdf/2308.15700

Licenza: https://creativecommons.org/licenses/by-nc-sa/4.0/

Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.

Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.

Altro dagli autori

Articoli simili