Trasparenza nel tracciamento dei modelli di base

I modelli fondamentali giocano un ruolo importante nell'intelligenza artificiale (IA) e influenzano molte parti delle nostre vite. Però, c'è poca informazione su come funzionano e come vengono costruiti. Per capire meglio, nel ottobre 2023 è stato creato l'Indice di Trasparenza dei Modelli Fondamentali per monitorare quanto siano aperti e chiari gli Sviluppatori riguardo le loro pratiche.

La prima versione dell'indice ha analizzato 10 grandi aziende, come OpenAI e Google, utilizzando 100 diversi parametri per capire quanto divulgano sul loro lavoro. A quel tempo, il punteggio medio di queste aziende era solo 37 su 100, mostrando che c'era poca trasparenza.

Per vedere come le cose sono cambiate, sei mesi dopo è stato condotto uno studio di follow-up (versione 1.1), coinvolgendo 14 sviluppatori che ora forniscono informazioni attraverso i propri rapporti. Questo approccio ha permesso di far emergere più dettagli rispetto a quelli disponibili pubblicamente prima. In questa versione, il punteggio medio è salito a 58 su 100, mostrando un miglioramento significativo di 21 punti.

Questo miglioramento è arrivato principalmente dal fatto che gli sviluppatori hanno rivelato nuove informazioni durante il processo di reporting. In media, le aziende hanno condiviso dettagli su 16.6 parametri che non erano stati divulgati prima. Tuttavia, certe aree rimangono ancora poco chiare, in particolare riguardo ai diritti d'autore, Accesso ai Dati e l'impatto di questi modelli sulla società.

La trasparenza è fondamentale in questo campo. Con l'IA che continua a plasmare la nostra economia e società, capire come vengono creati e utilizzati questi modelli è vitale per tenere gli sviluppatori responsabili, incoraggiare la concorrenza e assicurare che tutti comprendano le implicazioni di queste tecnologie.

Vari governi stanno intervenendo per aumentare la trasparenza, con iniziative come l'AI Act dell'UE e il proposto AI Foundation Model Transparency Act negli Stati Uniti, che spingono per una maggiore divulgazione da parte delle aziende.

#Importanza della Trasparenza dei Modelli Fondamentali

I modelli fondamentali sono un focolaio centrale nello sviluppo dell'IA. Con l'evoluzione di queste tecnologie, iniziano a influenzare vari aspetti delle nostre vite, rendendo importante per le persone sapere come funzionano. Senza trasparenza, è difficile valutare i dati su cui questi modelli sono addestrati, che possono includere informazioni protette da copyright o sensibili.

Per capire meglio il panorama attuale dei modelli fondamentali, è stato creato l'Indice di Trasparenza dei Modelli Fondamentali. L'indice è iniziato con la versione 1.0 nell'ottobre 2023, valutando 10 importanti sviluppatori su 100 parametri relativi alla loro trasparenza.

Questi parametri coprono vari aspetti come l'uso dei dati, il lavoro coinvolto nella costruzione dei modelli e i rischi associati al loro utilizzo. Questa prima versione ha evidenziato una vasta mancanza di trasparenza, con un punteggio medio di 37 su 100. Tuttavia, ha anche rivelato che alcuni sviluppatori erano più aperti di altri.

#Studio di Follow-Up (Versione 1.1)

Per vedere come le cose sono cambiate, sei mesi dopo è stato condotto uno studio di follow-up (versione 1.1). Questo studio ha utilizzato gli stessi 100 parametri, ma ha fatto in modo che gli sviluppatori riportassero le informazioni da soli invece di fare affidamento solo su dati pubblicamente disponibili.

La scelta di far riportare i dati dagli sviluppatori è stata motivata da tre obiettivi principali:

1. Completezza: Questo metodo assicura che informazioni importanti non vengano trascurate.
2. Chiarezza: Gli sviluppatori che confermano le loro informazioni riducono confusione e incertezze.
3. Scalabilità: Far raccogliere queste informazioni agli sviluppatori abbassa il carico di lavoro per i ricercatori.

In totale, sono stati contattati 19 sviluppatori, di cui 14 hanno fornito i loro rapporti. I risultati hanno indicato che gli sviluppatori sono ora più disposti a condividere informazioni, portando a un punteggio complessivo di 58. Anche se gran parte dell'aumento della trasparenza è positivo, ci sono ancora diverse aree che mostrano significativa opacità.

#Processo di Reporting degli Sviluppatori

Il processo per questo studio ha coinvolto diversi passaggi:

1. Richiesta agli Sviluppatori: Tra dicembre 2023 e gennaio 2024, è stata avviata una comunicazione con 19 aziende per richiedere rapporti di trasparenza.

2. Reporting degli Sviluppatori: A febbraio 2024, 14 sviluppatori hanno inviato rapporti riguardanti i loro modelli di punta, basati sui 100 parametri.

3. Scoring Iniziale: Dopo aver esaminato i rapporti, è stata effettuata una valutazione basata sulle informazioni fornite.

4. Risposta degli Sviluppatori: Ad aprile 2024, gli sviluppatori hanno avuto la possibilità di contestare i loro punteggi e fornire ulteriori informazioni per chiarimenti.

Attraverso più round di comunicazione, sono stati preparati rapporti finali di trasparenza per ogni sviluppatore, consolidando le loro divulgazioni.

#Risultati Complessivi

I risultati della versione 1.1 hanno mostrato miglioramenti notevoli nella trasparenza tra gli sviluppatori valutati.

• Il punteggio medio è aumentato da 37 nella versione 1.0 a 58 nella versione 1.1.
• I punteggi sono aumentati in ogni dominio, con miglioramenti evidenti negli indicatori upstream, model e downstream.

Nonostante questi miglioramenti, la trasparenza rimane un problema importante, con molti sviluppatori ancora carenti in aree chiave come accesso ai dati e valutazione dell'impatto.

#Aree di Miglioramento

L'analisi ha rivelato dove gli sviluppatori hanno eccelso e dove hanno fallito:

1. Indicatori Upstream: Gli sviluppatori hanno ottenuto i punteggi più bassi in questa categoria, con un punteggio medio del 46%. Questo riflette una scarsa divulgazione riguardo le risorse utilizzate per costruire i modelli, inclusi lavoro sui dati e accesso ai dati.

2. Indicatori Modello: Il punteggio medio per gli indicatori legati ai modelli era migliore, intorno al 61%. Questo suggerisce che gli sviluppatori sono un po' più aperti su come funzionano i loro modelli e i rischi che comportano.

3. Indicatori Downstream: Gli sviluppatori hanno ottenuto il punteggio più alto in questa sezione, con una media del 65%. Quest'area si concentra su come i modelli vengono utilizzati e le politiche che governano la loro distribuzione.

#Sfide nella Trasparenza

Anche se ci sono stati miglioramenti, molte sfide rimangono. Alcune aree, come accesso ai dati e impatto, mostrano ancora alti livelli di opacità. In generale, gli sviluppatori non riescono a fornire dettagli sulle fonti dei loro dati o sugli effetti che i loro modelli hanno sugli utenti e sulla società.

In particolare, solo pochi sviluppatori hanno condiviso informazioni su come i dati vengono raccolti e utilizzati, lasciando clienti e pubblico con poca comprensione delle fondamenta di questi modelli. Questo continua a sollevare domande riguardo responsabilità e uso responsabile.

#Influenza dei Modelli Aperti vs. Chiusi

Lo studio ha anche esaminato la differenza tra modelli aperti e chiusi. I modelli aperti, dove il codice e i dati sottostanti sono condivisi, hanno generalmente ottenuto punteggi migliori in trasparenza rispetto ai modelli chiusi. Gli sviluppatori che facevano parte di iniziative per promuovere l'accesso aperto hanno ottenuto punteggi migliori rispetto a quelli che hanno mantenuto i loro modelli proprietari.

Tuttavia, gli sviluppatori chiusi tendevano a fornire più informazioni riguardo le loro politiche interne e come gestivano il comportamento degli utenti. Questo mette in evidenza un paesaggio complesso dove l'apertura non sempre equivale a una migliore trasparenza su tutti i fronti.

#Partecipazione degli Sviluppatori

In totale, 14 sviluppatori hanno partecipato a questo round di valutazioni, con molti che hanno fornito nuove informazioni che non erano state rese pubbliche prima. Il mix di sviluppatori includeva sia quelli valutati nella prima versione che nuovi arrivati, ampliando la diversità complessiva del rapporto.

Il rapporto ha indicato che gli sviluppatori stanno diventando più disposti a impegnarsi nelle pratiche di trasparenza, portando a una migliore comprensione dei loro modelli.

#Nuove Informazioni e Scoring

Una caratteristica chiave della versione 1.1 era la possibilità per gli sviluppatori di condividere nuove informazioni, che hanno contribuito significativamente ai loro punteggi. Per molti sviluppatori, questi nuovi dati erano essenziali per riflettere i loro veri livelli di trasparenza.

Le nuove divulgazioni riguardavano spesso aree come pratiche lavorative, impatto ambientale e dettagli operativi, che erano state precedentemente sottovalutate.

Ad esempio, alcuni sviluppatori hanno chiarito i loro processi di calcolo e le relative emissioni di carbonio. Questa reportistica diretta non solo ha migliorato i loro punteggi ma ha aiutato a dipingere un quadro più chiaro delle loro pratiche.

#Raccomandazioni per il Futuro

Sulla base delle informazioni ottenute dallo studio, sono state fatte diverse raccomandazioni per i vari stakeholder coinvolti nell'ecosistema dei modelli fondamentali.

#Per gli Sviluppatori

1. Investire nella Trasparenza: Gli sviluppatori dovrebbero concentrarsi sul miglioramento della chiarezza e dell'apertura dei loro rapporti. Questo potrebbe includere documentazione dettagliata e aggiornamenti regolari sulle loro pratiche.

2. Impegnarsi con gli Stakeholder: Costruire linee di comunicazione migliori con clienti e pubblico può aumentare fiducia e responsabilità.

#Per i Clienti

1. Richiedere Trasparenza: Chi acquista servizi di modelli dovrebbe sostenere richieste di divulgazioni più chiare e supportare gli sviluppatori che danno priorità alla trasparenza.

2. Stabilire Standard: I governi, come acquirenti significativi di tecnologia, possono influenzare le pratiche stabilendo aspettative di trasparenza nei contratti.

#Per i Politici

1. Incoraggiare la Divulgazione: I politici dovrebbero spingere per normative che obblighino alla trasparenza nell'IA, in particolare riguardo all'uso dei dati e alla valutazione dell'impatto.

2. Stabilire Best Practices: Creare linee guida per gli sviluppatori può aiutare a modellare un ecosistema più aperto.

#Per gli Avvocati della Trasparenza

1. Indagare e Monitorare: Ricercatori e giornalisti possono utilizzare i nuovi rapporti di trasparenza per condurre indagini più approfondite sulle pratiche degli sviluppatori.

2. Promuovere la Consapevolezza: Gli avvocati dovrebbero aumentare la consapevolezza pubblica sull'importanza della trasparenza nello sviluppo e nell'implementazione dell'IA.

#Conclusione

L'Indice di Trasparenza dei Modelli Fondamentali ha fatto progressi significativi nel mettere in evidenza la necessità di trasparenza nei modelli IA. Anche se ci sono stati miglioramenti negli ultimi sei mesi, c'è ancora molta strada da fare. Con i modelli fondamentali che continuano a plasmare il nostro mondo, ottenere una maggiore trasparenza sarà cruciale per assicurare che queste tecnologie siano sviluppate e utilizzate responsabilmente.

Il dialogo continuo tra sviluppatori e stakeholder sarà essenziale per promuovere un ambiente dove la trasparenza non sia solo attesa, ma abbracciata. Migliorando la trasparenza, gli sviluppatori possono costruire fiducia, promuovere innovazione e assicurare che i loro modelli contribuiscano positivamente alla società.