Rischi della tecnologia di sintesi vocale generata dall'IA
Esaminando i pericoli e le preoccupazioni etiche della generazione di parole sintetiche.
― 6 leggere min
Indice
L'ascesa dell'intelligenza artificiale (AI) che può generare discorsi umani ha sollevato seri interrogativi su sicurezza ed etica. Sono stati segnalati molti incidenti in cui questa tecnologia è stata abusata, causando danni a individui e comunità. Per esempio, ci sono stati casi negli Stati Uniti in cui chiamate false effettuate con voci generate dall'AI hanno portato ad attacchi di swatting. In questi attacchi, la polizia viene chiamata falsamente a scuole o case, il che può portare a situazioni pericolose. È fondamentale capire come avvengano questi danni e le relazioni tra le diverse persone coinvolte.
La Complessità dei Rischi di Generazione del Discorso
La tecnologia di generazione del discorso può causare vari danni, e questi danni non sono semplicemente il risultato della tecnologia stessa. Provengono dalle interazioni tra le diverse persone e i sistemi che usano. Per esempio, quando una voce viene imitata o abusata, può influenzare non solo la persona imitata ma anche quelli che credono nella voce falsa. Ci sono molte parti coinvolte in questi incidenti: le persone che creano l'AI, quelle che la usano e le vittime del suo abuso.
Per capire meglio questi rischi, è essenziale categorizzare i danni specifici che ne derivano. Questa classificazione considera le prospettive di chi è stato colpito e le intenzioni di chi utilizza la tecnologia. Abbiamo bisogno di un approccio completo per identificare e affrontare questi problemi in modo sistematico.
Tassonomia dei Danni
Analizzando gli incidenti legati alla generazione del discorso, possiamo categorizzare i danni in base a chi è colpito e le motivazioni dietro le azioni di chi è responsabile della tecnologia. Ci sono diversi tipi di danno, che possono includere effetti diretti sugli individui, così come impatti più ampi su comunità e società.
Chi è Colpito?
Le categorie di individui colpiti dalla tecnologia di generazione del discorso possono includere:
- Soggetti: Individui le cui voci sono usate senza permesso o le cui identità sono distorte.
- Interattori: Coloro che interagiscono o sono esposti al discorso generato, come le persone che ricevono chiamate con voci sintetiche.
- Soffrenti: Persone che subiscono effetti negativi, anche senza interagire direttamente con la tecnologia, come perdita economica o stress emotivo.
- Entità Escluse: Individui o gruppi che possono essere trascurati o danneggiati a causa di stereotipi o cancellazioni nel contenuto prodotto dai sistemi di generazione del discorso.
Motivi Dietro il Danno
L'intento di chi utilizza la tecnologia di generazione del discorso gioca anche un ruolo significativo nel determinare il tipo di danno causato. Potrebbe essere:
- Frode: Usare il discorso generato per scopi ingannevoli, come impersonare qualcuno per rubare denaro.
- Trolling: Creare contenuti che servono a provocare o infastidire gli altri.
- Manipolazione Politica: Usare voci false per influenzare l'opinione pubblica o disturbare processi politici.
Analisi di Incidenti Specifici
Per capire il quadro più ampio, è essenziale esaminare incidenti specifici in cui la tecnologia di generazione del discorso ha causato danno. Ecco alcuni esempi che illustrano diversi tipi di rischi e danni.
Incidenti di Swatting
In diversi casi, il discorso generato dall'AI è stato usato per ingannare la polizia facendole rispondere a emergenze false. Questi incidenti non sono solo pericolosi per le vittime, ma possono anche mettere a rischio gli agenti di polizia. I chiamanti rimangono anonimi, complicando la responsabilità e gli sforzi di risposta.
Clonazione della Voce e Furto d'Identità
La tecnologia di clonazione della voce può permettere a qualcuno di imitare la voce di un'altra persona, portando al furto d'identità. In un incidente, un giornalista ha clonato la propria voce per dimostrare le vulnerabilità dei sistemi di autenticazione vocale. Anche se in quell'istanza non si è verificato alcun danno, ha mostrato il potenziale per l'inganno.
Danni Culturali ed Economici
Gli incidenti che coinvolgono doppiatori sono anche significativi. Ci sono stati casi in cui le aziende hanno usato le voci dei doppiatori senza consenso per creare modelli di AI, causando perdita di reddito e violazione dei diritti. Tale sfruttamento può minare interi settori, influenzando non solo artisti individuali ma anche la cultura che circonda la produzione creativa.
La Necessità di un Quadro
Data la complessità della tecnologia di generazione del discorso e i rischi associati, è cruciale sviluppare un quadro per comprendere i percorsi verso il danno. Questo quadro dovrebbe considerare l'interazione tra gli individui colpiti e le parti responsabili. Mappando queste relazioni, possiamo acquisire intuizioni su come si manifestano i danni e come potrebbero essere prevenuti.
Percorsi verso il Danno
Un percorso verso il danno implica capire come i danni specifici siano collegati ai tipi di esposizione vissuti dagli individui e alle intenzioni dietro le azioni delle entità responsabili. Ad esempio, se la voce di un doppiatore viene usata per creare una voce sintetica senza permesso, l'attore diventa un soggetto di azioni dannose motivate da interessi di profitto delle aziende.
Strategie di Mitigazione
Per affrontare i rischi associati alla tecnologia di generazione del discorso, devono esserci strategie mirate sia a prevenire danni che a supportare chi è colpito. Ecco alcuni approcci che potrebbero essere utili:
Consapevolezza ed Educazione
Aumentare la consapevolezza sui rischi legati alla generazione del discorso può aiutare le persone a riconoscere minacce potenziali. Preparare la società ad affrontare le sfide poste dal discorso generato dall'AI può dare potere alle comunità per rispondere efficacemente agli incidenti.
Interventi Legali e Politici
Stabilire chiari quadri legali e politiche può aiutare a rendere le persone e le aziende responsabili per l'abuso. Questo può includere regolamenti attorno al consenso, alla proprietà dei dati vocali e sanzioni per azioni dannose.
Pratiche di Design Etico
Gli sviluppatori della tecnologia di generazione del discorso dovrebbero dare priorità a considerazioni etiche durante il processo di design. Questo include effettuare valutazioni dei rischi e assicurarsi che i sistemi non siano facilmente sfruttabili per scopi malevoli.
Conclusione
L'ascesa della tecnologia di generazione del discorso offre potenziali benefici ma anche seri rischi. È essenziale capire i vari modi in cui questa tecnologia può causare danno e sviluppare strategie efficaci per la prevenzione. Concentrandosi sulle interazioni tra le parti interessate e stabilendo una chiara tassonomia dei danni, possiamo lavorare per garantire che il discorso generato dall'AI serva la società in modi positivi.
La flessibilità del quadro proposto permette di adattarlo nel tempo, catturando nuovi tipi di danni man mano che emergono. Con la ricerca continua e la collaborazione tra le parti interessate, possiamo cercare di mitigare i rischi associati alle tecnologie di generazione del discorso, proteggendo individui e comunità dai loro potenziali danni mentre promuoviamo uno sviluppo responsabile dell'AI.
Titolo: Not My Voice! A Taxonomy of Ethical and Safety Harms of Speech Generators
Estratto: The rapid and wide-scale adoption of AI to generate human speech poses a range of significant ethical and safety risks to society that need to be addressed. For example, a growing number of speech generation incidents are associated with swatting attacks in the United States, where anonymous perpetrators create synthetic voices that call police officers to close down schools and hospitals, or to violently gain access to innocent citizens' homes. Incidents like this demonstrate that multimodal generative AI risks and harms do not exist in isolation, but arise from the interactions of multiple stakeholders and technical AI systems. In this paper we analyse speech generation incidents to study how patterns of specific harms arise. We find that specific harms can be categorised according to the exposure of affected individuals, that is to say whether they are a subject of, interact with, suffer due to, or are excluded from speech generation systems. Similarly, specific harms are also a consequence of the motives of the creators and deployers of the systems. Based on these insights we propose a conceptual framework for modelling pathways to ethical and safety harms of AI, which we use to develop a taxonomy of harms of speech generators. Our relational approach captures the complexity of risks and harms in sociotechnical AI systems, and yields a taxonomy that can support appropriate policy interventions and decision making for the responsible development and release of speech generation models.
Autori: Wiebke Hutiri, Oresiti Papakyriakopoulos, Alice Xiang
Ultimo aggiornamento: 2024-05-15 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2402.01708
Fonte PDF: https://arxiv.org/pdf/2402.01708
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.
Link di riferimento
- https://github.com/netease-youdao/EmotiVoice
- https://dl.acm.org/ccs.cfm
- https://www.express.co.uk/news/uk/1771516/tiktok-ai-videos-murdered-children
- https://www.theguardian.com/technology/2022/jun/23/amazon-alexa-could-turn-dead-loved-ones-digital-assistant
- https://edition.cnn.com/2021/01/25/asia/south-korea-kim-kwang-seok-ai-dst-hnk-intl/index.html
- https://www.independent.co.uk/arts-entertainment/films/news/robin-williams-ai-voice-daughter-b2422506.html
- https://www.vice.com/en/article/93axnd/voice-actors-doxed-with-ai-voices-on-twitter
- https://www.vice.com/en/article/dy7mww/ai-voice-firm-4chan-celebrity-voices-emma-watson-joe-rogan-elevenlabs
- https://www.vice.com/en/article/5d3n8z/a-scammer-is-pretending-to-be-andrew-tate-on-tiktok-and-racking-up-millions-of-views
- https://www.vice.com/en/article/43kwgb/not-jordan-peterson-voice-generator-shut-down-deepfakes
- https://www.vice.com/en/article/k7z8be/torswats-computer-generated-ai-voice-swatting
- https://japannews.yomiuri.co.jp/politics/politics-government/20231104-147695/
- https://www.reuters.com/article/factcheck-biden-transphobic-remarks/fact-check-video-does-not-show-joe-biden-making-transphobic-remarks-idUSL1N34Q1IW
- https://www.bbc.co.uk/news/world-africa-66987869
- https://www.wired.com/story/slovakias-election-deepfakes-show-ai-is-a-danger-to-democracy/
- https://www.bbc.co.uk/news/uk-england-london-67389609
- https://www.theguardian.com/technology/2023/mar/16/voice-system-used-to-verify-identity-by-centrelink-can-be-fooled-by-ai
- https://www.vice.com/en/article/dy7axa/how-i-broke-into-a-bank-account-with-an-ai-generated-voice
- https://english.elpais.com/international/2023-02-22/theyre-not-tv-anchors-theyre-avatars-how-venezuela-is-using-ai-generated-propaganda.html
- https://news.sky.com/story/new-yorks-mayor-uses-audio-deepfakes-to-call-residents-in-languages-he-doesnt-speak-12986816
- https://www.wsj.com/articles/fraudsters-use-ai-to-mimic-ceos-voice-in-unusual-cybercrime-case-11567157402
- https://www.forbes.com/sites/thomasbrewster/2021/10/14/huge-bank-fraud-uses-deep-fake-voice-tech-to-steal-millions/
- https://torrentfreak.com/riaa-targets-ai-hub-discord-users-over-copyright-infringement-230622/
- https://variety.com/2023/music/news/fake-ai-generated-drake-weeknd-collaboration-heart-on-my-sleeve-1235585451/
- https://www.theverge.com/2020/4/28/21240488/jay-z-deepfakes-roc-nation-youtube-removed-ai-copyright-impersonation
- https://www.digitalmusicnews.com/2023/05/30/singaporean-singer-stefanie-sun-career-hijacked-ai/
- https://people.com/bad-bunny-is-furious-about-an-ai-track-using-his-voice-8399608
- https://www.cbc.ca/news/canada/newfoundland-labrador/ai-vocal-cloning-grandparent-scam-1.6777106
- https://leaderpost.com/news/local-news/regina-couple-says-possible-ai-voice-scam-nearly-cost-them-9400
- https://edition.cnn.com/2023/04/29/us/ai-scam-calls-kidnapping-cec/index.html
- https://restofworld.org/2023/ai-voice-acting/
- https://goodereader.com/blog/audiobooks/audiobook-narrators-and-authors-fear-apple-using-their-voices-to-train-ai
- https://www.ft.com/content/07d75801-04fd-495c-9a68-310926221554
- https://www.mikecoopervoiceover.com/behind-the-mike/2023/3/11/send-in-the-clones
- https://www.independent.ie/videos/irish-voiceover-artist-losing-out-after-finding-ai-version-of-her-voice-being-sold-online/a683695072.html
- https://voicebot.ai/2021/05/07/voice-actor-sues-tiktok-for-generating-text-to-speech-voice-from-her-recordings-without-permission/
- https://www.standard.co.uk/news/tech/stephen-fry-voice-ai-cloned-documentary-b1108629.html