Affrontare l'equità nel machine learning con dati mancanti

Nel mondo di oggi, il machine learning è usato sempre di più in vari campi, come la finanza, la sanità e la giustizia penale. Però, visto che questi sistemi prendono decisioni importanti sulla vita delle persone, è fondamentale che gli algoritmi siano equi. L'Equità si riferisce all'idea che gli algoritmi dovrebbero trattare i diversi gruppi demografici in modo uguale, senza pregiudizi. Ma cosa succede quando non abbiamo informazioni demografiche complete sugli individui? Questa situazione è chiamata "regime di scarsità demografica."

Quando si conducono studi sull'equità, la maggior parte dei ricercatori presume di avere accesso completo ai dati demografici, ma non è sempre così. A volte, i dati non sono disponibili per motivi di privacy, restrizioni legali o semplicemente perché non sono stati raccolti. Questa mancanza di dati demografici rende difficile sapere se un algoritmo sta trattando i diversi gruppi in modo equo.

#La Sfida dei Dati Mancanti

Quando mancano informazioni demografiche, diventa complicato misurare e fare rispettare l'equità. Ad esempio, considera uno scenario in cui vogliamo determinare se un processo di richiesta di prestito sia equo tra diversi gruppi razziali o di genere. Se non abbiamo i dati razziali o di genere per tutti i richiedenti, non possiamo garantire che l'algoritmo stia trattando questi gruppi in modo equo.

I ricercatori hanno scoperto che un modo per affrontare questo problema è allenare un classificatore di attributi-un tipo di modello che impara a predire attributi sensibili come razza o genere in base ad altre informazioni disponibili. Questo ci permetterebbe di creare un "Proxy" per i dati demografici mancanti. Tuttavia, fare affidamento su questi attributi proxy può portare a una diminuzione dell'equità e dell'accuratezza rispetto all'uso di attributi demografici reali.

#Il Nostro Framework Proposto

Per migliorare i compromessi tra equità e accuratezza quando si usano dati proxy, proponiamo un nuovo framework. Il nostro metodo si concentra sull’inserire la consapevolezza dell'Incertezza nel classificatore di attributi. In parole semplici, vogliamo che il modello sappia quanto è sicuro delle sue previsioni riguardo alle informazioni demografiche mancanti.

L'idea chiave del nostro framework è che quando il modello è incerto su una previsione, applicare l'equità potrebbe danneggiare sia l'equità che l'accuratezza. Quindi, suggeriamo che i vincoli di equità dovrebbero essere applicati solo a campioni in cui l'informazione demografica è prevista con alta fiducia.

#Il Processo

Il nostro framework si compone di due fasi principali.

1. Addestramento del Classificatore di Attributi: Nella prima fase, creiamo un modello per predire le informazioni demografiche mancanti. Questo modello utilizza tecniche per valutare quanto sia certo o incerto riguardo alle sue previsioni. L'incertezza viene migliorata durante l'addestramento usando un metodo chiamato Monte Carlo dropout, che aiuta a stimare la variabilità delle previsioni.

2. Addestramento del Classificatore di Etichetta: Nella seconda fase, alleniamo il classificatore principale che fa previsioni relative alla variabile target (ad esempio, se qualcuno dovrebbe ricevere un prestito). È importante che imponiamo vincoli di equità solo su campioni dove l'informazione demografica è stata prevista con bassa incertezza.

#Risultati e Riscontri

Per convalidare il nostro framework, abbiamo condotto esperimenti su due set di dati ampiamente utilizzati: il set di dati sul Reddito degli Adulti e il set di dati Compas. Questi set di dati sono stati usati per valutare bias e equità nel machine learning.

I nostri risultati hanno mostrato che i metodi esistenti per migliorare l'equità possono adattarsi bene al rumore introdotto quando si usano attributi sensibili proxy invece di attributi sensibili reali. Questo significa che il nostro framework suggerito può comunque funzionare efficacemente, anche quando si fa affidamento su previsioni imperfette.

Abbiamo anche scoperto che i campioni previsti con alta incertezza tendono a essere dannosi per l'equilibrio tra equità e accuratezza. Di conseguenza, il nostro metodo funziona meglio quando i vincoli di equità vengono imposti solo su campioni previsti con bassa incertezza.

#L'Importanza dell'Incertezza

Il concetto di incertezza gioca un ruolo cruciale nel nostro framework. Ci aiuta a capire quando applicare i vincoli di equità. Quando un modello è incerto, cercare di forzare l'equità può portare a risultati peggiori. Questo perché il modello potrebbe fare assunzioni sbagliate riguardo agli attributi demografici, il che potrebbe orientare la sua decisione nella direzione sbagliata.

Concentrandoci sui campioni con previsioni affidabili, possiamo mantenere un migliore equilibrio tra equità e accuratezza. Questo approccio porta a modelli che non solo funzionano meglio, ma mostrano anche caratteristiche di equità migliorate.

#Confronto con Altri Metodi

Nei nostri esperimenti, abbiamo confrontato il nostro framework con vari metodi di base, tra cui:

• Attributo Sensibile di Verità Fondamentale: Questa base presume che l'attributo sensibile vero sia completamente disponibile e misura il livello ottimale di prestazioni.

• Proxy-KNN: Questo approccio deriva attributi sensibili mancanti dai k-vicini più prossimi di campioni che contengono attributi sensibili.

• Proxy-DNN: In questo caso, una rete neurale profonda viene addestrata per predire attributi sensibili senza considerare l'incertezza.

Il nostro framework ha costantemente superato questi metodi di base su tutti i set di dati e le metriche di equità. Questo dimostra che il nostro metodo può ottenere un migliore compromesso tra accuratezza ed equità rispetto ai metodi tradizionali che non tengono conto dell'incertezza.

#Metriche di Equità

Per valutare le prestazioni del nostro framework, abbiamo considerato tre metriche di equità popolari:

• Parità Demografica: Questa metrica richiede che i risultati previsti siano indipendenti dagli attributi sensibili.

• Odds Equalizzati: Questa metrica impone che i tassi di veri positivi e falsi positivi siano uguali tra diversi gruppi demografici.

• Opportunità Uguale: Questa si concentra esclusivamente sull'ugualizzazione dei tassi di veri positivi tra diversi gruppi demografici.

Ognuna di queste metriche è stata valutata per misurare quanto bene il nostro framework ha performato in termini di raggiungimento dell'equità.

#Conclusione

In sintesi, il nostro framework proposto fa un contributo significativo al campo dell'equità nel machine learning, specialmente quando si tratta di informazioni demografiche limitate. Abbiamo messo in evidenza l'importanza dell'incertezza nelle previsioni e dimostrato che il nostro metodo può produrre modelli più equi e accurati rispetto ad altri approcci. Concentrandoci su campioni con previsioni affidabili, possiamo migliorare l'equilibrio tra equità e accuratezza, rendendo i nostri metodi applicabili in scenari reali dove i dati demografici completi sono spesso inaccessibili.

Il lavoro futuro si concentrerà su un ulteriore affinamento dell'equilibrio tra equità e accuratezza incorporando tecniche avanzate nell'addestramento dei classificatori di attributi. Speriamo di fornire strumenti pratici per garantire equità nei sistemi di machine learning che influenzano la vita delle persone.