Valutare le abilità dell'IA nei protocolli biologici

L'IA, o intelligenza artificiale, sta diventando sempre più brava a capire i principi della biologia. Molti credono che nel prossimo futuro, questi modelli di IA possano aiutare gli scienziati o addirittura prendersi carico di compiti di Ricerca. I sviluppatori di IA vogliono testare queste abilità per assicurarsi che i modelli futuri possano migliorare ciò che già fanno. Tuttavia, ci sono anche preoccupazioni sui rischi che questi sistemi di IA possono rappresentare per la Biosecurity. Sia i laboratori che creano IA sia gli enti regolatori hanno bisogno di metodi efficaci per valutare questi rischi.

Per affrontare questa sfida, è stato suggerito un metodo in due fasi. Prima di tutto, un modello di IA viene controllato utilizzando Benchmark accessibili a tutti, che valutano la sua comprensione generale della biologia. Se l'IA se la cava bene, poi passa a test più specializzati per valutare direttamente le sue abilità potenzialmente pericolose. Il benchmark menzionato qui si concentra sulla conoscenza generale di laboratorio, rendendolo adatto a questo approccio.

#L'importanza delle competenze di laboratorio

La ricerca in biologia dipende spesso da procedure di laboratorio consolidate. È fondamentale per qualsiasi ricercatore seguire queste procedure e affrontare i problemi che sorgono durante gli esperimenti. Anche se questa abilità è cruciale, ci sono molte altre aree di competenza che sono anche importanti nella ricerca di laboratorio ma non vengono trattate in questo contesto.

#Creazione del dataset

Per valutare quanto bene i modelli di IA possano seguire i Protocolli biologici, i ricercatori hanno utilizzato procedure disponibili al pubblico. Hanno intenzionalmente aggiunto errori a questi protocolli che farebbero fallire gli esperimenti se non venissero individuati. L'obiettivo era vedere se un'IA potesse trovare e correggere questi errori.

Questo compito serve a misurare la comprensione del modello di IA delle relazioni di causa ed effetto tra le azioni di un ricercatore e i risultati. Questa comprensione richiede spesso conoscenze dei principi biologici e chimici, logica, matematica e come questi si applicano in laboratorio.

I protocolli testati potrebbero far parte dei dati di addestramento di alcune IA, consentendo ai modelli avanzati di memorizzarli. Se trovassero solo un errore, potrebbero essere in grado di individuarlo senza davvero capire la sua importanza. Per rendere la valutazione più difficile, i ricercatori hanno modificato almeno 200 aspetti di ciascun testo di protocollo che non cambiavano i passaggi che un ricercatore avrebbe seguito. Questo includeva l'uso di sinonimi e la riformulazione delle frasi per impedire ai modelli di concentrarsi su un solo cambiamento testuale.

I modelli di IA potrebbero anche ricordare il significato dietro ciascun passaggio di un protocollo. Per affrontare questo, i ricercatori hanno fatto nove cambiamenti a ciascun protocollo che non portavano a fallimenti. Ad esempio, hanno alterato il tempismo di un passaggio specifico pur consentendo alla procedura di avere successo. Dopo ciò, hanno introdotto un errore che avrebbe portato a un fallimento, come accorciare la durata necessaria per un passaggio critico. Senza una solida comprensione dei processi sottostanti, sarebbe stato difficile per l'IA capire quali cambiamenti avrebbero portato a un risultato positivo e quali no.

#Proprietà del dataset

Il set di test comprendeva 800 casi generati da vari protocolli. Questi includevano metodi per trasfezione cellulare, amplificazione del DNA, analisi delle proteine e altro. Ogni protocollo poteva essere suddiviso in diversi tipi di errori per valutare varie aree di conoscenza.

In alcuni casi, i ricercatori hanno cambiato le proporzioni delle sostanze. Ad esempio, se un protocollo richiedeva di mescolare 1ml di un reagente con 99ml di acqua, lo hanno cambiato in mescolare 10ml del reagente con 90ml di acqua. Questa modifica potrebbe alterare le proprietà della miscela risultante, permettendo all'IA di rilevare errori tramite semplici calcoli.

In altri casi, hanno modificato condizioni fisiche cruciali per le reazioni. Ad esempio, alcune enzimi devono essere mantenuti a temperature specifiche per mantenere la loro efficacia. Raccomandando erroneamente una temperatura di stoccaggio più bassa, la sostanza si sarebbe congelata, danneggiando l'enzima.

I ricercatori hanno anche commesso errori che testavano la conoscenza biologica dell'IA. Un esempio di questo tipo ha coinvolto l'alterazione di una sequenza di DNA in un primer PCR, rendendola troppo corta per funzionare correttamente.

A volte hanno infranto le pratiche di laboratorio consolidate. Ad esempio, hanno cambiato i protocolli in modo che i materiali destinati a un'area del laboratorio potessero accidentalmente mescolarsi con materiali di un'altra area, il che potrebbe portare a contaminazione e risultati falliti.

Nonostante questi vari test, i modelli di IA hanno costantemente performato male, facendo fatica a identificare gli errori corretti anche quando testati con un solo errore che avrebbe portato a un Esperimento fallito.

#Valutazione delle prestazioni del modello

Durante la valutazione, i ricercatori hanno presentato all'IA, chiamata "solver", un protocollo progettato per fallire. Hanno poi chiesto di identificare la causa del fallimento. Le risposte del solver sono state valutate da un altro modello di IA, chiamato "grader". Il grader ha valutato se il solver avesse identificato correttamente l'errore esaminando sia le parti originali che quelle modificate del protocollo.

Per ridurre la confusione, il grader ha ricevuto solo parti del protocollo originale anziché il testo completo. Questo perché presentare l'intero protocollo spesso distraeva il grader e portava a valutazioni errate. Testando i modelli di IA con questo metodo, i ricercatori hanno scoperto che alcuni modelli di IA producevano risultati inaffidabili, mentre altri mostrano promesse.

Le prestazioni di vari modelli di IA su questo benchmark sono state sorprendentemente basse. Modelli come GPT-4o mini, Claude 3 e altri hanno registrato circa il 7% di risposte corrette. Al contrario, altri modelli come GPT-4o e Mistral Large hanno fatto un po' meglio con circa il 16% e il 17% di risposte corrette. Gli esperti umani, quando sottoposti agli stessi compiti, hanno ottenuto punteggi molto più alti, circa il 38,4%.

#Confronto con altri benchmark

Il benchmark creato in questa ricerca è simile a un benchmark precedente noto come LAB-bench, ma con differenze chiave. LAB-bench utilizza domande a scelta multipla, mentre questo impiega domande aperte. Questa differenza di formato ha portato a prestazioni distinte tra i modelli testati.

I modelli di IA hanno mostrato migliori prestazioni su LAB-bench, con precisione variabile dal 37% al 53%. Al contrario, la differenza di prestazione tra i modelli in questo attuale benchmark è stata più significativa, con alcuni modelli che rimanevano indietro.

#Lunghezza dei protocolli e prestazioni

I diversi protocolli variano in lunghezza, e scoperte precedenti suggeriscono che i modelli di IA tendono a performare peggio con testi più lunghi. In questo studio, tutti i modelli valutati hanno mostrato prestazioni ridotte con protocolli più estesi. Tuttavia, queste tendenze non erano statisticamente significative a causa del numero limitato di protocolli utilizzati.

#La necessità di competenze più ampie

Comprendere i protocolli è solo una delle diverse abilità necessarie per una ricerca di laboratorio efficace. Altri benchmark, come LAB-bench, valutano una gamma più ampia di competenze, come la capacità di analizzare articoli scientifici o interpretare sequenze di nucleotidi.

#La natura a doppio uso dei protocolli

Molti protocolli biologici sono a doppio uso, il che significa che possono servire sia a ricerche benefiche che a potenziali applicazioni pericolose. Ad esempio, un metodo che aiuta a sviluppare un vaccino potrebbe anche essere utilizzato in modo improprio per creare un patogeno nocivo. Questa idea sottolinea la necessità di valutare sia le competenze scientifiche generali che quelle che potrebbero portare a usi impropri.

#Conclusione: L'importanza della specificità

Le domande in questo benchmark potrebbero non essere abbastanza specifiche. Nelle situazioni di laboratorio del mondo reale, i ricercatori di solito sanno di più su quali passaggi siano andati storti e sul risultato di quel fallimento. Ad esempio, una procedura complessa come il sequenziamento del gene 16s rRNA consiste di più passaggi, rendendo più facile identificare la fonte di un eventuale fallimento.

Attraverso questo studio, diventa chiaro che mentre l'IA può fornire un certo livello di assistenza nella ricerca biologica, la sua attuale comprensione dei protocolli e della risoluzione dei problemi è ancora carente. Man mano che l'IA continua a svilupparsi, valutazioni e aggiustamenti continui saranno essenziali per garantire la sua affidabilità e sicurezza nella ricerca scientifica.