Colmare il divario tra esperti e machine learning

I sistemi esperti hanno mostrato risultati forti nel prevedere risultati in vari settori. Tuttavia, a volte le previsioni fatte dai modelli di machine learning (ML) non matchano le intuizioni fornite dagli esperti del settore. Questa discrepanza può succedere quando i dati di addestramento usati per questi modelli non rappresentano completamente la situazione reale.

In questa discussione, introduciamo un nuovo framework progettato per affrontare questo problema. Il concetto chiave è valutare per primo quanto un nuovo punto dati non etichettato è rappresentativo rispetto ai dati di addestramento usando un tipo di modello chiamato rete generativa avversaria (GAN). Basandoci su questa valutazione, aggiustiamo le previsioni fatte dal modello ML tenendo conto delle intuizioni degli esperti. Se il nuovo punto dati è simile ai dati di addestramento, diamo meno peso al giudizio dell'esperto nel nostro output finale. Al contrario, se differisce significativamente, poniamo maggiore enfasi sull’input dell’esperto.

Abbiamo testato il nostro framework conducendo diversi esperimenti usando sia dati sintetici che due casi studio reali-uno nel settore dei servizi IT e uno nella finanza. I risultati hanno indicato che il nostro framework si è allineato da vicino con le intuizioni degli esperti mantenendo un alto livello di accuratezza nelle previsioni, superando vari altri metodi di baseline. Inoltre, abbiamo sviluppato una nuova metrica di valutazione che considera sia l'accuratezza delle previsioni sia quanto queste si allineano con i giudizi esperti.

#Il Ruolo degli Esperti e del Machine Learning

I modelli di machine learning si sono rivelati utili in molte applicazioni, ma le loro previsioni possono a volte contraddire le intuizioni fornite dagli esperti. Il giudizio di un esperto si basa sull'esperienza reale e non può sempre essere catturato tramite mezzi statistici. Ad esempio, gli esperti potrebbero conoscere schemi o relazioni che i dati non mostrano chiaramente.

Tenendo presente questo, miriamo a risolvere i conflitti tra i modelli ML e le valutazioni degli esperti. Consideriamo un scenario nei processi di gara, dove i fornitori presentano offerte per contratti. I venditori esperti spesso ci dicono che offerte più alte generalmente riducono le possibilità di vincere un contratto. Per prevedere se un fornitore vincerà un affare a un determinato prezzo, si potrebbero addestrare modelli di classificazione usando gare passate.

La nostra analisi di dati reali da un importante fornitore di servizi IT ha rivelato che mentre i modelli ML possono raggiungere un'alta accuratezza, spesso non riescono a allinearsi con le intuizioni degli esperti quando i prezzi superano il range dei dati storici. Gli executive delle vendite sono probabili a diffidare dei modelli che non matchano la loro esperienza, anche se i modelli mostrano un successo convenzionale nelle misure di accuratezza.

#Domande di Ricerca

Con queste questioni in mente, definiamo due domande di ricerca chiave:

1. Come possiamo costruire un modello che risolva il conflitto tra le intuizioni degli esperti e le previsioni dei modelli ML, integrando entrambe le prospettive?
2. Come possiamo creare nuove metriche che valutino meglio la qualità di questi modelli predittivi, tenendo conto sia delle misure di accuratezza tradizionali che di quanto vicino le previsioni si allineano con le intuizioni degli esperti?

#Approcci Esistenti

Molti metodi esistenti hanno cercato di integrare i giudizi degli esperti nei modelli ML usando tecniche come l'apprendimento supervisionato con vincoli aggiuntivi o supervisione debole. Tuttavia, questi modelli spesso falliscono quando ci sono dati di addestramento insufficienti o di parte. Anche se raccogliere più dati etichettati può essere una soluzione, non è sempre fattibile in scenari reali.

Nel nostro lavoro, miriamo ad affrontare i limiti degli approcci esistenti sviluppando un nuovo framework che valuta l'affidabilità delle previsioni ML. Il nostro primo passo implica valutare quanto un punto dati non etichettato è simile ai dati di addestramento esistenti usando una GAN.

Dopo aver determinato questa affidabilità, decidiamo sull'approccio di previsione. Se i nuovi dati assomigliano strettamente ai dati di addestramento, ci fidiamo del modello ML per fornire previsioni accurate. In casi in cui il punto dati è abbastanza diverso, ci basiamo di più sulle intuizioni dell'esperto.

#Metodologia

Il nostro framework opera attraverso diversi passaggi. Inizialmente, generiamo vari dataset sintetici per testare l'efficacia del nostro metodo rispetto ai modelli di baseline. Applichiamo anche il framework a due situazioni reali: un caso di gara nei servizi IT e un caso di approvazione di credito finanziario.

#Setup del Problema

Nel nostro setup, abbiamo una collezione di punti dati con caratteristiche e etichette. L'obiettivo del nostro modello ML è apprendere una funzione che mappa questi input di caratteristiche a etichette di output. Supponiamo che sia il modello ML che gli esperti abbiano le proprie funzioni che prevedono risultati basati sui dati forniti.

Per affrontare il nostro obiettivo principale di correggere le previsioni del modello mentre misuriamo anche l'efficacia delle previsioni in relazione alle intuizioni degli esperti, sviluppiamo un modello GAN su misura per le nostre esigenze specifiche.

#Framework GAN

Il framework GAN coinvolge due componenti: un generatore e un discriminatore. Il generatore è responsabile della stima del risultato atteso per un punto dati in base ai dati di addestramento. Il discriminatore verifica quanto sia realistico il risultato stimato rispetto ai dati originali.

Attraverso un processo di apprendimento iterativo, perfezioniamo entrambi i modelli per assicurarci che pesino accuratamente le intuizioni degli esperti rispetto alle previsioni generate dal modello ML.

#Metriche di Valutazione

Le misure di accuratezza delle previsioni esistenti potrebbero non catturare sufficientemente le complessità del nostro problema. In risposta, proponiamo una nuova metrica di valutazione che quantifica quanto bene un modello ML si allinea con il giudizio esperto, usando concetti come la Divergenza Jensen-Shannon.

Misurando la divergenza tra le previsioni e le intuizioni degli esperti, otteniamo una comprensione più chiara di come il nostro modello performa. Inoltre, introduciamo una misura armonica che combina questa nuova metrica con misure di accuratezza tradizionali per fornire una valutazione completa dell'efficacia del nostro modello.

#Risultati dei Dataset Sintetici

Abbiamo condotto una serie di esperimenti utilizzando dataset sintetici. I nostri risultati hanno dimostrato che il nostro metodo supera costantemente i modelli di baseline riguardo sia le metriche di accuratezza che la vicinanza ai giudizi esperti. Specialmente in scenari dove i dati usati per addestrare i modelli non rappresentavano l'intera gamma di risultati potenziali, il nostro metodo ha mostrato miglioramenti significativi.

#Applicazioni nel Mondo Reale

Abbiamo testato il nostro framework in due distinti casi studio, uno nel settore dei servizi IT e un altro nell'industria finanziaria.

#Caso Studio dei Servizi IT

Nel caso dei servizi IT, abbiamo analizzato come un importante fornitore abbia fatto offerte per contratti. Includendo varie caratteristiche come il tipo di cliente e le precedenti relazioni commerciali, abbiamo sviluppato un modello robusto. Il nostro approccio ha mostrato un miglioramento statisticamente significativo nelle performance predittive rispetto ai modelli di baseline.

#Caso Studio Finanziario

Per il caso studio finanziario, ci siamo concentrati sulla previsione dell'approvazione di credito basata su numerosi attributi. Nonostante l'alta accuratezza dei modelli standard, il nostro approccio ha costantemente fornito un migliore allineamento con le intuizioni degli esperti, evidenziando la sua efficacia.

#Analisi Qualitativa

Attraverso l'analisi qualitativa dei nostri risultati, abbiamo tracciato la variabile contro la probabilità prevista, fornendo una rappresentazione visiva di come il nostro metodo si confronta con i giudizi degli esperti. Questi grafici hanno dimostrato che le nostre previsioni si allineano da vicino con le intuizioni degli esperti, rafforzando l'affidabilità del nostro approccio.

#Conclusione

In sintesi, il nostro lavoro integra la conoscenza esperta nei modelli di machine learning, affrontando il conflitto intrinseco tra le previsioni del modello e il giudizio esperto. Sviluppando un framework pratico e metriche di valutazione, il nostro metodo migliora con successo le performance dei modelli esistenti, rendendoli più affidabili ed efficaci nelle applicazioni reali.

L'importanza del nostro framework si estende oltre settori specifici, fornendo uno strumento prezioso per una gamma di applicazioni dove esistono piccoli dataset di addestramento e forti supposte. La capacità di raggiungere sia accuratezza che un allineamento stretto con le intuizioni degli esperti potrebbe trasformare il modo in cui i modelli ML vengono applicati in vari campi, aprendo la strada a risultati più affidabili.