Navigare nella Giustizia nell'Annotazione del Colore della Pelle
Affrontare i pregiudizi nel machine learning tramite un'annotazione precisa del tono della pelle.
― 6 leggere min
Indice
- L'importanza dell'annotazione del tono della pelle
- La scala di tono della pelle Monk
- Il dataset MST-E
- Soggettività nell'annotazione del tono della pelle
- L'impatto della posizione geografica
- Il ruolo degli esperti di annotazione
- Sfide con le scale esistenti
- Metodi di raccolta dei dati
- Valutare la qualità dell'annotazione
- Raccomandazioni per le pratiche di annotazione
- Equità nel machine learning
- Conclusione
- Direzioni future
- Limitazioni e considerazioni etiche
- Riepilogo
- Fonte originale
- Link di riferimento
Il tono della pelle è una caratteristica importante che influisce su come le persone vengono percepite e trattate nella società. Negli ultimi anni, i modelli di machine learning sono diventati molto comuni, influenzando molti aspetti delle nostre vite, incluso come il nostro tono di pelle viene riconosciuto da questi modelli. Questo solleva preoccupazioni riguardo l'Equità e i bias presenti in questi sistemi. Comprendere come le diverse persone vedono e etichettano il tono della pelle può aiutare a migliorare l'equità nel machine learning, soprattutto nei compiti di visione artificiale.
L'importanza dell'annotazione del tono della pelle
Annotare correttamente il tono della pelle è fondamentale per varie applicazioni di machine learning, dall'identificazione delle persone nelle foto all'assicurare equità nelle assunzioni. Questo compito diventa complicato a causa della sua natura soggettiva. Diverse persone possono vedere e interpretare il tono della pelle in modo diverso in base alle loro esperienze e origini. Per esempio, le condizioni di illuminazione possono influenzare come qualcuno percepisce il tono della pelle.
La scala di tono della pelle Monk
Per affrontare le sfide dell'annotazione del tono della pelle, i ricercatori hanno creato la scala di tono della pelle Monk (MST). Questa scala offre un modo più sfumato per classificare il tono della pelle. A differenza dei modelli più vecchi che potrebbero concentrarsi di più sui toni di pelle più chiari, l'MST include una gamma più ampia di colori di pelle, aiutando a fornire una rappresentazione più equa delle popolazioni diverse.
Il dataset MST-E
Il dataset MST-E è stato creato per aiutare a formare e valutare l'annotazione del tono della pelle. Include immagini e video di persone che rappresentano l'intera scala MST. Questo dataset mira a fornire un ambiente controllato per studiare come diversi annotatori etichettano il tono della pelle e valutare le abilità di quegli annotatori.
Soggettività nell'annotazione del tono della pelle
Una delle principali sfide nell'annotazione del tono della pelle è la soggettività. Le origini delle persone, incluse le loro esperienze culturali e sociali, possono influenzare molto le loro opinioni sul tono della pelle. Questo significa che la comprensione di un individuo del tono della pelle potrebbe non allinearsi sempre con quella di un altro, anche quando stanno guardando la stessa immagine. Questa complessità rende difficile il compito di annotare il tono della pelle per i sistemi di machine learning.
L'impatto della posizione geografica
Le ricerche dimostrano che le persone provenienti da diverse regioni geografiche possono annotare il tono della pelle in modo diverso. Questo è probabilmente dovuto a una combinazione di fattori culturali e esperienze sociali che modellano come gli individui percepiscono il colore della pelle. Ad esempio, qualcuno di un paese potrebbe vedere il tono della pelle di una persona in modo diverso rispetto a qualcuno di un altro paese, portando a una varietà di annotazioni per lo stesso tono di pelle.
Il ruolo degli esperti di annotazione
Per migliorare l'annotazione del tono della pelle, alcuni ricercatori hanno coinvolto esperti, come fotografi, nel processo. Questi esperti sono addestrati a riconoscere e valutare il tono della pelle in diverse condizioni, il che aiuta a garantire che le annotazioni siano più accurate. Distinguendo tra diversi tipi di annotatori, i ricercatori possono migliorare la qualità e l'affidabilità delle annotazioni sul tono della pelle.
Sfide con le scale esistenti
Sebbene scale precedenti per misurare il tono della pelle, come la scala del tipo di pelle Fitzpatrick (FST), siano state comunemente usate, presentano limitazioni. La FST è stata originariamente progettata per valutazioni dermatologiche e non rappresenta la piena diversità dei toni della pelle. Molte persone con toni di pelle più scuri potrebbero non adattarsi perfettamente alle categorie definite dalla FST. Di conseguenza, scale più nuove come l'MST vengono adottate per una gamma più ampia di toni della pelle.
Metodi di raccolta dei dati
Ci sono diversi metodi per raccogliere annotazioni sul tono della pelle, incluse annotazioni crowdsourced e valutazioni di esperti. Le annotazioni crowdsourced coinvolgono la raccolta di input da un grande numero di persone, che può essere efficiente ma potrebbe introdurre prospettive varie. Le valutazioni di esperti, sebbene potenzialmente più accurate, non sono sempre scalabili.
Valutare la qualità dell'annotazione
Per valutare quanto bene si comportano gli annotatori, i ricercatori possono confrontare le loro annotazioni con quelle fornite dai creatori della scala MST. Analizzando il grado di sovrapposizione tra le valutazioni di diversi annotatori, è possibile determinare quanto siano affidabili le annotazioni. Livelli più alti di accordo suggeriscono che gli annotatori stiano interpretando accuratamente i toni della pelle.
Raccomandazioni per le pratiche di annotazione
Basandosi su studi che coinvolgono l'annotazione del tono della pelle, è possibile raccomandare alcune best practices. È utile utilizzare un pool diversificato di annotatori, poiché persone di vari background possono offrire prospettive diverse. Inoltre, formare gli annotatori con esempi di vari toni di pelle può aiutare a migliorare le loro abilità. Questa formazione può comportare l'uso del dataset MST-E per familiarizzare gli annotatori con il modo di valutare il tono della pelle in condizioni diverse.
Equità nel machine learning
Man mano che i sistemi di machine learning diventano più integrati nelle nostre vite, l'equità in questi modelli è essenziale. Garantire che i modelli trattino tutte le persone in modo equo, indipendentemente dal loro tono di pelle, può aiutare a evitare discriminazioni e bias. Questo richiede attenzione ai dati e ai metodi utilizzati per addestrare questi modelli.
Conclusione
L'annotazione del tono della pelle è un compito sfumato che richiede attenzione alla soggettività e al contesto culturale. La scala MST, insieme al dataset MST-E, fornisce una base per migliorare come comprendiamo e valutiamo il tono della pelle nei sistemi di machine learning. Concentrandosi su equità e inclusività, possiamo lavorare per creare modelli che servano tutti gli individui in modo equo.
Direzioni future
Man mano che la ricerca sull'annotazione del tono della pelle continua, ci sono opportunità per espandere i dataset e capire meglio come il tono della pelle impatta le percezioni. I lavori futuri potrebbero anche esplorare aspetti aggiuntivi di identità e background per arricchire la comprensione di come il tono della pelle viene visto tra gruppi diversi. Continuando a perfezionare i metodi e le pratiche di annotazione, possiamo cercare di garantire equità nella tecnologia e nelle sue applicazioni nella società.
Limitazioni e considerazioni etiche
Nonostante i progressi nelle tecniche di annotazione del tono della pelle, rimangono sfide e preoccupazioni etiche. I ricercatori devono navigare nel potenziale abuso di dati sensibili e garantire che gli studi non rafforzino stereotipi nocivi. È cruciale affrontare il compito di annotazione del tono della pelle con cura, dando priorità alle considerazioni etiche e al benessere di tutte le persone coinvolte.
Riepilogo
In sintesi, il processo di annotazione del tono della pelle è complesso e richiede ricerca e perfezionamento continui. La scala MST e il dataset MST-E rappresentano passi importanti per migliorare l'accuratezza e l'equità dell'annotazione del tono della pelle nel machine learning. Abbracciando la diversità e concentrandosi su pratiche responsabili, possiamo puntare a contrastare i bias e creare modelli più equi che riflettano una vasta gamma di esperienze umane.
Titolo: Consensus and Subjectivity of Skin Tone Annotation for ML Fairness
Estratto: Understanding different human attributes and how they affect model behavior may become a standard need for all model creation and usage, from traditional computer vision tasks to the newest multimodal generative AI systems. In computer vision specifically, we have relied on datasets augmented with perceived attribute signals (e.g., gender presentation, skin tone, and age) and benchmarks enabled by these datasets. Typically labels for these tasks come from human annotators. However, annotating attribute signals, especially skin tone, is a difficult and subjective task. Perceived skin tone is affected by technical factors, like lighting conditions, and social factors that shape an annotator's lived experience. This paper examines the subjectivity of skin tone annotation through a series of annotation experiments using the Monk Skin Tone (MST) scale, a small pool of professional photographers, and a much larger pool of trained crowdsourced annotators. Along with this study we release the Monk Skin Tone Examples (MST-E) dataset, containing 1515 images and 31 videos spread across the full MST scale. MST-E is designed to help train human annotators to annotate MST effectively. Our study shows that annotators can reliably annotate skin tone in a way that aligns with an expert in the MST scale, even under challenging environmental conditions. We also find evidence that annotators from different geographic regions rely on different mental models of MST categories resulting in annotations that systematically vary across regions. Given this, we advise practitioners to use a diverse set of annotators and a higher replication count for each image when annotating skin tone for fairness research.
Autori: Candice Schumann, Gbolahan O. Olanubi, Auriel Wright, Ellis Monk, Courtney Heldreth, Susanna Ricco
Ultimo aggiornamento: 2024-01-02 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2305.09073
Fonte PDF: https://arxiv.org/pdf/2305.09073
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.
Link di riferimento
- https://storage.googleapis.com/mste/mste_annotations.csv
- https://creativecommons.org/licenses/by/4.0/
- https://skintone.google/mste-dataset
- https://tonl.co/
- https://google.qualtrics.com/jfe/form/SV_eFJF7qguvcWvdFs
- https://knowyourdata-tfds.withgoogle.com/
- https://glginsights.com/
- https://membership.glgresearch.com/tutorials/tutorial/terms?lang=en-us