Sviluppi nei GNN per la generazione di grafi molecolari

Creare grafici può essere un compito tosto. Richiede di prevedere una struttura completa con diversi nodi e connessioni partendo solo da un'etichetta. Questo lavoro è importante per molti usi reali, come progettare nuovi farmaci e molecole. Ultimamente, alcuni metodi hanno mostrato delle potenzialità generando grafici, ma hanno alcuni difetti evidenti. Prima di tutto, i tipi di Reti Neurali per Grafi (GNN) usati non sono spesso approfonditi. In secondo luogo, questi metodi sono valutati con solo poche misure.

Per affrontare questi problemi, studiamo quanto bene le GNN possano esprimere diverse caratteristiche nel compito di generare grafici molecolari. Sostituiamo i tipi di GNN più semplici usati in alcuni modelli con opzioni più avanzate. In particolare, valutiamo come sei diverse GNN si comportano in due framework generativi, GCPN e GraphAF, puntando a sei obiettivi molecolari distinti utilizzando un grande dataset noto come ZINC-250k. I nostri test rivelano che le GNN aggiornate possono migliorare le prestazioni di GCPN e GraphAF, ma avere una GNN più espressiva non è sempre necessario per un modello generativo di successo. Inoltre, scopriamo che questi modelli possono produrre risultati migliori di 17 altri metodi non basati su GNN focalizzati sulla generazione di nuove molecole.

#Informazioni di Base

Generare grafici è noto per essere un compito complesso. Coinvolge la previsione di un'intera struttura con vari nodi e archi basandosi su un'etichetta prestabilita. Tuttavia, è essenziale in molte applicazioni reali, in particolare nello sviluppo di nuovi farmaci. Lo spazio delle molecole potenziali è vasto e variegato, rendendo difficile creare nuovi grafici che soddisfino caratteristiche specifiche desiderate. Questa sfida è complicata dal fatto che le caratteristiche desiderate sono spesso complesse e non facilmente descrivibili matematicamente.

Recentemente, ci sono stati progressi nella generazione di grafici molecolari con modelli generativi profondi basati su GNN, specificamente la Rete di Politica Convoluzionale per Grafi (GCPN) e il Modello Autoregressivo Basato su Flusso (GraphAF). Entrambi utilizzano R-GCN come loro modello interno per rappresentare grafici. Molti ricercatori hanno cercato di migliorare quanto possano essere espressive le GNN apportando modifiche architetturali. Queste hanno portato allo sviluppo di nuove forme avanzate di GNN che performano meglio in compiti come la classificazione di grafici.

È cruciale valutare se queste GNN più espressive possono generare grafici molecolari in modo efficiente e se possono superare le tradizionali GNN utilizzate in GCPN e GraphAF.

Inoltre, attualmente vengono utilizzate varie metriche per valutare la generazione di nuove molecole. Tuttavia, GCPN e GraphAF si basano solo su due obiettivi relativi alla progettazione di farmaci, ossia Penalized logP e QED. Questa limitazione presenta due problemi significativi. Prima di tutto, non considera un'ampia gamma di metriche di valutazione rilevanti per la progettazione di farmaci. In secondo luogo, sia il Penalized logP che il QED potrebbero non differenziare efficacemente tra i vari modelli generativi, limitandone l'utilità per questo scopo.

In questo studio, sostituiamo R-GCN in GCPN e GraphAF con GNN più avanzate. Valutiamo quindi i nostri modelli, comprese varianti di GCPN e GraphAF, basandoci su un insieme più ampio di obiettivi generativi molecolari, come DRD2, Median1 e Median2. Questa valutazione mira a produrre risultati più statisticamente affidabili.

#Contributi Chiave

1. Espressività delle GNN: L'espressività delle GNN non garantisce prestazioni superiori nei modelli generativi. Scopriamo che non c'è una forte correlazione tra quanto sia espressiva una GNN e quanto bene performa nella generazione di grafici.

2. Limitazioni delle Metriche Esistenti: Anche se Penalized logP e QED sono metriche comunemente usate per valutare i modelli generativi, non riescono a differenziare efficacemente tra i vari modelli. Altre metriche come DRD2, Median1 e Median2 danno valutazioni migliori delle capacità dei modelli generativi.

3. Miglioramenti delle Prestazioni: Utilizzando GNN avanzate, osserviamo miglioramenti significativi delle prestazioni nei modelli GCPN e GraphAF. Questi modelli possono ottenere risultati che eguagliano o superano metodi non basati su GNN all'avanguardia.

#Lavoro Correlato

Recentemente, sono stati sviluppati vari modelli generativi profondi focalizzati sulla creazione di grafici molecolari. Il nostro studio si concentra sulle approcci di generazione molecolare a obiettivo singolo, mirando specificamente a molecole organiche con caratteristiche desiderate, comprese proprietà fisiche, chimiche e biologiche essenziali.

#Modelli Generativi Basati su GNN

I recenti progressi nella generazione di grafici molecolari hanno visto l'emergere di modelli generativi profondi basati su GNN, tra cui GCPN e GraphAF. Entrambi utilizzano R-GCN, una delle migliori GNN dell'epoca, come loro modello di rappresentazione interna. Tuttavia, GNN più espressive, come GATv2, GSN e GearNet, sono recentemente emerse, mostrando prestazioni migliori in vari compiti di grafico rispetto a R-GCN.

Nonostante ciò, GCPN e GraphAF valutano le loro prestazioni unicamente in compiti di progettazione di farmaci utilizzando le metriche limitate di QED e Penalized logP. Queste metriche non sono sufficienti per fornire informazioni preziose sulle prestazioni di diversi modelli generativi.

#Modelli Generativi Non Basati su GNN

Oltre alle GNN, esistono approcci alternativi per generare grafici. Gli algoritmi genetici (GA) utilizzano principi dell'evoluzione, come mutazione e selezione, per esplorare spazi di progettazione. L'Ottimizzazione Bayesiana (BO) impiega modelli per trovare iterativamente soluzioni ottimali. Gli Autoencoder Variationali (VAE) imparano a codificare e decodificare dati, fornendo una base per generare nuovi esempi. Altri metodi, come la Ricerca su Alberi Monte-Carlo (MCTS) e l'Escursionismo (HC), utilizzano strategie diverse per miglioramenti iterativi nella generazione di grafici.

#Background Teorico

Un modello generativo di grafici basato su GNN comprende una GNN e un framework di generazione di grafici. La GNN impara rappresentazioni nascoste dei grafici, mentre il framework di generazione mira a produrre strutture realistiche basate su obiettivi specificati.

#Framework Generativi di Grafici

In questo studio, esploriamo GCPN e GraphAF come framework per generare grafici molecolari. GCPN formula il processo di generazione del grafico come un problema di presa di decisione, dove le azioni vengono effettuate in base allo stato attuale del grafico. GraphAF, d'altra parte, crea un grafico molecolare attraverso una trasformazione invertibile da una distribuzione di base.

#Impostazione Sperimentale

#Dataset

Utilizziamo il dataset ZINC-250k sia per il pre-addestramento che per il fine-tuning dei modelli. Questo dataset contiene circa 250.000 molecole simili a farmaci, ognuna con vari tipi di atomi e archi. Le molecole in ZINC-250k sono facilmente sintetizzabili e includono una gamma diversificata di composti.

#Dettagli di Implementazione

Implementiamo GNN avanzate utilizzando il framework PyTorch e TorchDrug. Anche le strutture di base di GCPN e GraphAF sono incorporate all'interno di TorchDrug. Nei nostri esperimenti, sostituiamo R-GCN in entrambi GCPN e GraphAF con GNN più espressive. Inoltre, modifichiamo quei modelli per incorporare caratteristiche degli archi, migliorando la capacità di apprendimento della rappresentazione del grafico.

I modelli vengono pre-addestrati sul dataset ZINC-250k, seguiti da un fine-tuning verso proprietà specifiche utilizzando un approccio di apprendimento per rinforzo.

#Obiettivi Generativi e Metriche

Confrontiamo i modelli modificati GCPN e GraphAF contro benchmarks stabiliti usando vari compiti di generazione. Le metriche utilizzate includono Penalized logP, QED, accessibilità sintetica (SA), DRD2, Median1 e Median2. Ognuno di questi obiettivi serve come misura dell'efficacia dei modelli nella generazione di nuove molecole.

#Risultati

#Migliorare i Metodi Generativi Basati su GNN

I risultati indicano che l'uso di GNN avanzate può portare a prestazioni significativamente migliori nella generazione di grafici molecolari. Tuttavia, osserviamo che metriche comunemente utilizzate come Penalized logP e QED raggiungono un punto di saturazione, rendendole meno efficaci nel distinguere tra diversi modelli. Pertanto, proponiamo di utilizzare metriche aggiuntive che offrano maggiori informazioni sulle capacità generative dei modelli.

#Confronto con Metodi Non Basati su GNN

Ulteriore analisi mostra che, dopo aver potenziato GCPN e GraphAF con GNN avanzate, questi modelli superano i metodi tradizionali non GNN nella generazione di nuove molecole. I risultati evidenziano il potenziale di impiegare architetture GNN migliorate per compiti di generazione complessi.

#Caratteristiche degli Archi e Loro Importanza

Indagare come vengono trattate le caratteristiche degli archi in diversi modelli rivela differenze significative nelle prestazioni. I modelli che incorporano caratteristiche degli archi tendono a generare grafici molecolari più accurati e validi. Questo risultato sottolinea il valore delle relazioni tra archi nel migliorare i modelli generativi basati su GNN.

#Conclusione

Il nostro studio dimostra che creare modelli generativi efficaci basati su GNN per il design molecolare richiede più dell'espressività delle GNN. Anche se l'espressività può migliorare le prestazioni nei compiti di classificazione dei grafici, non è necessariamente collegata al successo nei compiti generativi. Concentrandoci sull'incorporazione delle caratteristiche degli archi e utilizzando un'ampia gamma di metriche di valutazione, mostriamo che GCPN e GraphAF possono ottenere risultati straordinari nella progettazione de-novo di nuove molecole.

Nel lavoro futuro, intendiamo esplorare ulteriormente le condizioni necessarie per migliorare i modelli generativi basati su GNN. Estendendo l'ambito del nostro studio per valutare un'ampia gamma di metodi generativi e dataset, cerchiamo di costruire sui nostri risultati e fornire informazioni essenziali per il campo della generazione di grafici molecolari.