Affrontare il misgendering nei sistemi automatizzati

Il Misgendering è quando qualcuno viene riferito usando termini sbagliati per il suo genere. Questo può causare danni ed è comune nella tecnologia di tutti i giorni. Tuttavia, non c'è abbastanza ricerca su come risolvere questo problema. Il nostro lavoro mira a colmare questa lacuna intervistando persone di genere diverso negli Stati Uniti per conoscere le loro opinioni sull'uso di Sistemi Automatizzati per aiutare con il misgendering nei testi.

#Risultati del Sondaggio

Abbiamo condotto un sondaggio per capire le esperienze di chi non si identifica come cisgender. Il nostro sondaggio ha raccolto opinioni sulla frequenza del misgendering, idee per soluzioni e preoccupazioni riguardo agli interventi automatizzati. I risultati ci hanno portato a creare un compito e un dataset focalizzati sugli interventi per il misgendering.

#Partecipanti al Sondaggio

Il nostro sondaggio ha coinvolto 33 partecipanti. Hanno riportato di subire misgendering soprattutto sulle piattaforme social, ma anche in altre aree come articoli di notizie e contenuti generati da AI. La maggior parte dei partecipanti ha mostrato interesse per sistemi che potessero rilevare automaticamente il misgendering.

#Funzionalità Desiderate dei Sistemi Automatizzati

I partecipanti avevano opinioni diverse su se i sistemi automatizzati dovessero correggere o nascondere i contenuti misgenderati. Molti preferivano la rilevazione automatica, ma erano divisi sulle correzioni automatiche nei social media. Erano più aperti a correzioni nei contenuti generati da AI, citando preoccupazioni sulla libertà di espressione.

#Preoccupazioni con i Sistemi Automatizzati

Il sondaggio ha messo in evidenza serie preoccupazioni riguardo agli interventi automatizzati sul misgendering. I partecipanti erano preoccupati per la privacy, l’accuratezza di questi sistemi e i rischi di profilazione o targeting delle persone in base alle loro preferenze di genere.

#Definizione del Compito di Intervento sul Misgendering

Basandoci sui risultati del sondaggio, abbiamo definito il compito di intervento sul misgendering che include due sottocompiti principali:

1. Rilevamento del Misgendering: Identificare quando un testo usa termini di genere sbagliati.
2. Correzione del Misgendering: Cambiare il testo dove avviene il misgendering, nelle situazioni in cui l’editing è appropriato.

Ci siamo concentrati sui social media e sui contenuti generati da AI come i nostri principali ambiti per questo compito.

#Creazione del Dataset

Abbiamo costruito un dataset con 3.790 esempi da testi sui social media e generati da AI. Ogni istanza è stata annotata per identificare il misgendering e fornire correzioni quando necessario.

#Metodo di Raccolta Dati

Abbiamo raccolto contenuti su individui non cisgender noti, raccogliendo post da Twitter e YouTube. Questi contenuti sono stati poi annotati da lavoratori che hanno etichettato i casi di misgendering in base ai termini di genere preferiti dall’individuo.

#Annotazioni e Accordo

Le annotazioni sono state effettuate da più lavoratori per garantire qualità. Nel compito di rilevamento del misgendering, abbiamo ottenuto un accordo tra annotatori dell'87,4%.

#Valutazione del Modello

Abbiamo testato i sistemi esistenti di elaborazione del linguaggio naturale (NLP) sul nostro dataset per stabilire dei benchmark. Abbiamo scoperto che l’utilizzo di modelli di linguaggio come GPT-4 ha prodotto i migliori risultati nel rilevamento del misgendering, ma ha ancora margini di miglioramento.

#Rilevamento del Misgendering

GPT-4 ha ottenuto i punteggi più alti nel rilevamento del misgendering nel nostro dataset. Tuttavia, abbiamo notato problemi significativi nella comprensione di schemi linguistici complessi, come citazioni e slang.

#Correzione del Misgendering

Per il compito di correzione, abbiamo valutato le performance di vari modelli. GPT-4 ha corretto il misgendering nel 97% dei casi mantenendo un basso tasso di modifiche non necessarie.

#Direzioni Future

Anche se i nostri risultati sono promettenti, è necessaria ulteriore ricerca per affinare questi sistemi e coinvolgere in modo più completo le comunità di genere diverso. Raccomandiamo di estendere i nostri sondaggi per raccogliere informazioni e feedback più ampi.

#Punti Chiave

1. Il misgendering è un problema diffuso con impatti significativi, in particolare nei social media e nei contenuti generati da AI.
2. I sistemi automatizzati mostrano potenziale per la rilevazione e la correzione, ma devono essere progettati con attenzione per affrontare le preoccupazioni della comunità.
3. Il lavoro futuro dovrebbe concentrarsi sulla collaborazione con persone di genere diverso per interventi efficaci.

#Conclusione

Il nostro studio segna un passo essenziale verso la comprensione e l'affronto del misgendering attraverso la tecnologia, con l'impegno a una ricerca continua e al coinvolgimento della comunità. Incoraggiamo ulteriori lavori in questo campo per sviluppare sistemi che rispettino le identità e le preferenze di genere individuali.

#Riconoscimenti

Ringraziamo i partecipanti al sondaggio e le organizzazioni che hanno supportato la nostra ricerca. Il nostro lavoro è stato parzialmente finanziato da vari grant e istituzioni focalizzate sull'avanzamento della ricerca sull'AI.

#Considerazioni Etiche

Questa ricerca è destinata a scopi accademici solo. È necessario prestare attenzione a proteggere le identità delle persone coinvolte e garantire il loro consenso in futuri sviluppi legati a questo lavoro.