Valutare gli agenti IA: garantire affidabilità e sicurezza

Quando due Agenti non sono d'accordo sulle loro decisioni, sorgono dubbi sulla correttezza di entrambi. Questa idea viene applicata per valutare agenti che hanno svolto un compito di classificazione binaria. Esaminando i loro accordi e disaccordi in un test, possiamo determinare valutazioni di gruppo che si adattano logicamente alle loro Risposte. Questo viene realizzato creando un insieme di regole che tutte le valutazioni dei rispondenti binari devono seguire. Ogni gruppo di rispondenti ha il proprio insieme completo di regole.

Le regole vengono utilizzate per creare un allerta logica che può mostrare che almeno un membro di un gruppo non sta funzionando correttamente, anche quando si utilizzano solo dati non etichettati. Questo metodo viene paragonato alla verifica formale del software, e si considera la sua utilità per rendere i sistemi AI più sicuri. Recentemente, c'è stato interesse nella verifica formale dei sistemi AI per renderli più affidabili. La maggior parte delle proposte finora si è concentrata su come addestrare o certificare gli agenti AI per una maggiore Sicurezza. Questa discussione si concentra sulla verifica formale delle valutazioni fatte dagli agenti, che possono essere umani o robotici, quando non viene fornita alcuna guida esplicita.

#Valutazione degli Agenti

Supponiamo che ci sia un gruppo di agenti assegnati a un compito. Indipendentemente dalla complessità del compito, altri agenti possono essere coinvolti per valutare o supervisionarli. Questo metodo sta diventando popolare per aumentare la sicurezza e l'affidabilità dei modelli di linguaggio di grandi dimensioni (LLM). Si è suggerita una tecnica chiamata supervisione debole a forte per affrontare la sfida di allineare modelli molto capaci. Gli LLM che forniscono feedback sui generatori di codice LLM possono aiutare a ridurre errori. I dibattiti tra AI avversariali possono aiutare gli esseri umani meno abili o non esperti a rispondere a domande in modo più accurato.

Tuttavia, questi approcci possono portare a un ciclo infinito di supervisione, con supervisori che sorvegliano altri supervisori, o potrebbero essere loro stessi inaffidabili. Questo problema non riguarda solo l'AI, ma è legato a classici problemi di conoscenza ed economia, specificamente il problema di monitoraggio principale-agente. Un principale è qualcuno che assegna compiti agli agenti, siano essi umani o robotici, ma non ha i mezzi o il tempo per supervisionarli da vicino. Sorge la domanda: come può il principale garantire che gli agenti svolgano i loro compiti correttamente e in sicurezza?

#Formalizzare le Valutazioni

Il metodo presentato qui cerca di rendere le valutazioni non sollecitate più affidabili, aiutando a superare questa sfida nell'assicurare operazioni AI sicure. La verifica formale dei sistemi software è ben nota e ha applicazioni utili nella sicurezza di strutture ingegneristiche complicate. Qui ci si concentra sulla formalizzazione delle valutazioni in cui non sono disponibili chiavi di risposta per valutare le prestazioni degli agenti.

In scenari in cui gli agenti sostengono un test, non è possibile dimostrare che le loro valutazioni siano valide. Tuttavia, è possibile dimostrare che queste valutazioni sono logicamente coerenti con il modo in cui hanno risposto durante il test. I framework utilizzati per la verifica formale del software hanno generalmente tre elementi principali: il modello del mondo, la specifica di sicurezza e il verificatore. Questi aspetti saranno discussi insieme a un insieme di funzioni matematiche complete che rappresentano come i Classificatori concordano o non concordano su un test, in base alla loro correttezza.

#Modelli di Valutazione

Ci sono vari modelli di valutazione per un test di risposta binaria. I modelli discussi qui riguardano i modelli decisionali osservati quando un gruppo di agenti risponde a un determinato elemento o domanda. Esploreremo i modelli per ensemble triviali, che coinvolgono un singolo classificatore, e coppie di classificatori.

#Valutazione di un Singolo Classificatore

Per un singolo classificatore, l'insieme di tutte le valutazioni possibili corrisponde a uno spazio specifico definito dalle risposte date dal classificatore. Una volta che sappiamo come è stata risposta al test, possiamo applicare un assioma del classificatore singolo per definire un insieme più ristretto di valutazioni che si allineano con le risposte osservate. All'interno di questo insieme c'è il valore vero sconosciuto per il numero di risposte corrette per ogni etichetta.

L'assioma aiuta a creare una rappresentazione geometrica per le valutazioni basata su come ha performato il classificatore. Specifica che il classificatore sta funzionando correttamente quando la sua risposta è all'interno di determinate aree di questo spazio, e in modo errato quando cade al di fuori di quelle aree.

#Valutazione della Coppia di Classificatori

Quando si guarda a due classificatori binari, ci sono quattro possibili modelli decisionali per valutare le loro risposte. I conteggi per ciascun modello possono essere descritti in relazione alla loro correttezza individuale e collaborativa nel test. Mentre analizziamo questo nuovo insieme di valutazioni per una coppia di classificatori, notiamo che include le regole per un singolo classificatore insieme a una regola aggiuntiva specificamente per le classificazioni abbinate.

Questo implica che osservare una coppia di classificatori produrrà nuove relazioni tra le loro prestazioni statistiche. Ogni classificatore aderisce comunque all'assioma originale del classificatore singolo, che si occupa solo di un agente alla volta.

#Creare Allerta Logiche

Gli assiomi delle sezioni precedenti possono fungere da verificatori per le valutazioni di gruppo. Date le risposte osservate, possiamo chiedere quali valutazioni soddisfano questi criteri. Qualsiasi algoritmo che restituisce valutazioni incoerenti con gli assiomi può essere scartato con fiducia.

Questa capacità di dimostrare che una valutazione di gruppo si allinea logicamente con i dati di risposta del test forma la base per il nostro allerta logica per classificatori disallineati. La specifica di sicurezza attesa è che tutti i classificatori devono ottenere punteggi superiori al 50% su ciascuna etichetta. Essenzialmente, l'allerta funziona assicurando che tutti i classificatori in un gruppo rispettino l'assioma del classificatore singolo.

Anche senza conoscere le esatte risposte corrette, possiamo comunque valutarlo logicamente. L'assioma definisce una relazione di dipendenza tra le risposte e possiamo accertare se qualche valutazione infrange la linea guida di sicurezza.

#Testare Contro le Specifiche di Sicurezza

In una situazione completamente non supervisionata, il valore reale della valutazione è sconosciuto ma deve rientrare in un certo intervallo. Possiamo esaminare se il gruppo viola la specifica di sicurezza a tutti i valori assunti. Se ogni valore assunto risulta in un fallimento, indica che uno o più classificatori sono disallineati.

Ad ogni valore assunto, confrontiamo coppie di classificatori determinando i loro risultati valutativi in spazi distinti per ciascuna etichetta. Le intersezioni di questi spazi riflettono le possibili valutazioni di gruppo per ciascuna coppia. Questo processo aiuta a visualizzare quali valutazioni soddisfano gli standard di sicurezza e quali no.

#L'Importanza del Contesto

È cruciale stabilire quanto disaccordo tra classificatori dovrebbe attivare l'allerta nel contesto di applicazione. Il metodo di valutazione dei classificatori non può fornire il contesto completo per il loro uso. Pertanto, determinare la dimensione del test e la soglia per il disaccordo deve essere effettuato in base allo scenario specifico.

La specifica di sicurezza di cui abbiamo discusso funge da esempio e può essere modificata per renderla più impegnativa o rilassata a seconda della situazione.

#Rilevamento di Input Falsificati

Le relazioni algebriche derivate dai modelli di valutazione potrebbero anche aiutare a identificare riassunti di test falsificati. Violare queste relazioni segnerebbe un problema. Questo si dimostra utile nel monitorare l'integrità del processo di valutazione.

Il metodo utilizzato qui per raccogliere risposte consente di controllare valutazioni non valide. Se viene rilevato un modello che non si allinea con i risultati attesi, potrebbe indicare che ci sono state manipolazioni all'interno del framework di valutazione.

#Limitazioni e Ulteriori Considerazioni

Sebbene questo metodo offra molti potenziali vantaggi, ha anche limitazioni. Non può interpretare completamente le misurazioni derivanti da esso. Per farlo, è necessario un modello del mondo per fornire il contesto necessario. L'approccio discusso qui serve principalmente per valutare risposte binarie e non è destinato a prevedere valori futuri o passati di quelle statistiche.

Sia i termometri che i rilevatori di fumo operano in sistemi di sicurezza, identificando problemi senza diagnosticare le cause radici. Allo stesso modo, la logica per valutare le valutazioni non supervisionate funziona come un componente all'interno di un framework di sicurezza più ampio per agenti rumorosi.

#Conclusione

È importante che gli utenti di qualsiasi metodologia di misurazione siano cauti rispetto a un'eccessiva dipendenza da essa. Esiste il potenziale per abusi nelle discussioni sulla sicurezza dell'AI. C'è la possibilità che fare troppo affidamento sulla formalizzazione possa ingannare gli utenti nell'idea che tutto funzioni senza intoppi. L'allerta logica può rilevare disallineamenti, ma non garantire che tutti i componenti siano funzionalmente solidi.

Questa metodologia rappresenta un chiaro vantaggio per l'uso di più agenti che svolgono compiti difficili. Il disaccordo tra agenti consente l'auto-valutazione, poiché le loro decisioni possono essere utilizzate per valutare la loro affidabilità. In scenari in cui esiste un agente forte affiancato da un gruppo di agenti più deboli, questi ultimi possono supervisionare le prestazioni dell'agente più forte utilizzando questo metodo di valutazione.

Infine, le discussioni sulla super-allineamento evidenziano preoccupazioni riguardo alla supervisione di agenti che sono più intelligenti degli esseri umani. Se fosse impossibile stabilire un controllo su tali sistemi, sarebbe una prima volta nella tecnologia. I metodi presentati qui possono portare alla creazione di sistemi che possono essere valutati anche nel contesto di test binari complessi.

Il punto importante è che strumenti, come i termometri per i motori, possono aiutare a garantire la sicurezza senza fare affidamento in modo semplicistico sull'idea che tutti i sistemi siano senza difetti. Pertanto, creare un framework affidabile per la valutazione in ambienti incerti rimane cruciale.