Migliorare i test di penetrazione automatizzati con l'apprendimento per rinforzo

Nel mondo digitale di oggi, tenere sicuri i sistemi informativi è fondamentale. Un modo efficace per controllare la sicurezza di un sistema informatico è attraverso i test di penetrazione (PT). Questo processo aiuta a identificare potenziali vulnerabilità che potrebbero essere sfruttate da attori dannosi. Il PT tradizionale richiede professionisti esperti, rendendo il processo lungo e laborioso, a volte ci vuole giorni o addirittura settimane. Inoltre, i test manuali possono causare notevoli tempi di inattività dei sistemi. Perciò, c'è una forte richiesta di tecniche di test di penetrazione automatizzate (AutoPT).

Sono stati creati diversi strumenti e framework avanzati per l'AutoPT per migliorare l'efficienza dei test. Ad esempio, Metasploit è uno strumento ampiamente utilizzato che aiuta a raccogliere informazioni e sfruttare vulnerabilità. Nonostante questi progressi, molti strumenti attuali hanno capacità limitate, concentrandosi solo su compiti specifici e non essendo in grado di eseguire valutazioni complete in modo indipendente, a differenza dei tester umani.

Una strada promettente per migliorare il PT è usare il rinforzo dell'apprendimento (RL), un ramo dell'intelligenza artificiale (AI). L'RL implica un programma per computer, o agente, che prende decisioni all'interno di un ambiente per raggiungere obiettivi specifici. L'agente impara dalle proprie azioni e si adatta in base ai premi che riceve, simile a come gli esseri umani apprendono dall'esperienza. L'RL ha già dimostrato successo in varie applicazioni, inclusi auto a guida autonoma, robotica e AI per giocare ai videogiochi.

Negli ultimi anni, la ricerca sull'uso dell'RL nel PT per i sistemi informativi è aumentata. Alcuni studi hanno riformulato il processo di PT come problemi di decisione, permettendo agli agenti di apprendere strategie ottimali usando algoritmi. Ad esempio, un approccio ha usato il deep Q-learning per automatizzare i compiti post-sfruttamento. Altri hanno integrato l'RL con framework di PT industriali esistenti per minimizzare il lavoro manuale.

#Sfide Affrontate nei Test di Penetrazione Automatizzati

Nonostante i progressi, gli approcci al PT basati sull'RL affrontano diverse sfide. Un problema significativo è l'efficienza del campionamento, dove l'agente ha bisogno di molte interazioni con l'ambiente per apprendere le migliori strategie. Questa necessità deriva dal grande spazio d'azione, dove un pen-tester ha molte azioni tra cui scegliere per ogni scenario.

Un'altra sfida è la complessità di definire i premi per l'agente. Le azioni riuscite di solito ricevono premi positivi, mentre le azioni non valide affrontano penalizzazioni. Tuttavia, creare una singola funzione di premio che catturi tutte le regole necessarie può diventare complicato, rendendo più difficile per l'agente imparare in modo efficace.

Inoltre, il PT basato sull'RL spesso fatica con l'interpretabilità. Dopo l'addestramento, gli agenti potrebbero non indicare chiaramente la loro fase attuale o i prossimi passi nel processo di test. Questa mancanza di chiarezza può compromettere la fiducia nelle decisioni e nelle prestazioni dell'agente.

#Introduzione a un Approccio Informato dalla Conoscenza

Per affrontare queste sfide, proponiamo un nuovo framework chiamato DRLRM-PT, che combina la conoscenza della cybersecurity con l'RL. Questo approccio aiuta l'agente a scomporre compiti complessi in sottocompiti più piccoli e gestibili, migliorando l'efficienza di apprendimento.

Il framework impiega una "macchina dei premi" (RM) per codificare la conoscenza del dominio da basi di conoscenza sulla cybersecurity riconosciute. La RM delinea un insieme di eventi durante il PT e suddivide il processo in sottocompiti distinti. Fornisce anche funzioni di premio personalizzate in base alla fase attuale del PT, aumentando la flessibilità dei premi assegnati all'agente durante l'addestramento.

In questo studio, ci concentriamo sul Movimento Laterale come caso studio. Il movimento laterale si riferisce alle azioni intraprese dopo aver ottenuto accesso iniziale a una rete, per spostarsi più in profondità e prendere il controllo di risorse preziose. Per guidare questo processo, lo formuliamo come un problema di decisione parzialmente osservabile usando le RM.

#Il Framework DRLRM-PT Spiegato

Il nostro framework proposto DRLRM-PT coinvolge un agente che agisce come un pen-tester, interagendo con un sistema di rete target. L'ambiente target è composto da vari componenti, inclusi host, firewall e router. L'agente può selezionare tra una gamma di azioni di PT, come la scansione delle vulnerabilità e tentativi di sfruttamento.

Man mano che l'agente interagisce con l'ambiente, fa osservazioni in base all'esito delle sue azioni. I premi immediati riflettono quanto bene l'agente stia raggiungendo i suoi obiettivi, in particolare prendere possesso delle risorse critiche nella rete. L'agente mira a massimizzare i premi complessivi attraverso le sue esperienze di apprendimento.

In questo framework, l'agente è supportato dalla RM che codifica la conoscenza sulla cybersecurity. La RM funziona come una macchina a stati, aiutando a delineare sottocompiti e specificare funzioni di premio per ciascuna azione intrapresa dall'agente. Tracciando gli eventi rilevati durante il PT, la RM transita il suo stato, guidando efficacemente il processo di apprendimento dell'agente.

#Spazi di Azione e Osservazione nel Movimento Laterale

Nel nostro studio, consideriamo tre principali tipi di azioni correlate al movimento laterale:

1. Scansione: Questo implica raccogliere informazioni essenziali sulla rete scoprendo macchine, le loro connessioni e dati sulle vulnerabilità.

2. Sfruttamento delle Vulnerabilità: Questo può essere ulteriormente classificato in sfruttamento locale e remoto. Lo sfruttamento locale si verifica quando l'agente opera su un nodo connesso, mentre lo sfruttamento remoto mira a nodi attualmente scoperti ma non ancora accessibili dall'agente.

3. Connessione: Questo permette all'agente di connettersi a un nodo usando credenziali e porte specifiche.

Le osservazioni fatte dall'agente vengono ottenute attraverso operazioni di scansione dopo aver eseguito azioni. Lo spazio di osservazione consiste in vari sottospazi, inclusi i conteggi dei nodi scoperti, i livelli di privilegi dei nodi, le proprietà scoperte, le credenziali trapelate e se l'agente ha effettuato con successo movimenti laterali.

#Progettazione di Macchine dei premi per un Apprendimento Migliorato

Utilizziamo le RM per guidare le azioni dell'agente e aiutarlo a imparare in modo più efficiente. Una RM semplificata si concentra su tre principali sottocompiti:

1. Scoprire nuove credenziali.
2. Connettersi a nuovi nodi usando quelle credenziali.
3. Elevare i privilegi dei nodi connessi.

Questa fase del processo si ripeterà fino a quando l'agente raggiunge obiettivi specifici, come accedere a dati critici.

Esaminiamo anche una RM più dettagliata che include un insieme più ampio di compiti. In questa RM, l'agente è prima guidato a scoprire nuovi nodi prima di cercare credenziali, poi a connettersi a nuovi nodi e infine ad elevare i privilegi. La maggiore complessità di questa RM consente una guida e un supporto più precisi durante il processo di apprendimento.

#Obiettivi e Metodologia nei Test

L'obiettivo principale del movimento laterale è guadagnare il controllo su quanti più nodi possibili all'interno della rete. Massimizzando i premi accumulati collegati alla RM durante il PT, possiamo guidare l'agente verso il raggiungimento di questo obiettivo in modo efficace.

Per addestrare l'agente e migliorare il processo di apprendimento, adottiamo l'algoritmo Deep Q-learning con RM (DQRM). Questo approccio consente all'agente di affinare la propria strategia e migliorare le sue prestazioni complessive nel tempo.

#La Piattaforma di Simulazione e l'Impostazione Sperimentale

Per i nostri esperimenti, utilizziamo CyberBattleSim, un simulatore open-source sviluppato per testare e valutare strategie di movimento laterale all'interno delle reti. Questa piattaforma crea reti simulate modellate da grafi con nodi interconnessi e vulnerabilità.

Sono stati impostati due ambienti di rete per i test: CyberBattleChain (una struttura sequenziale) e CyberBattleToyCtf (una struttura a mesh più complessa). Ogni nodo è progettato con proprietà specifiche, incluse vulnerabilità che possono portare a esposizione di credenziali o escalation di privilegi.

L'obiettivo dell'agente nella simulazione è catturare quante più risorse importanti, chiamate 'flag', utilizzando il minor numero possibile di azioni.

#Analisi Sperimentale e Risultati

Abbiamo progettato esperimenti per convalidare il nostro framework e affrontare due domande di ricerca:

1. L'agente guidato dalla RM può migliorare l'efficienza di apprendimento del PT rispetto all'agente senza RM?
2. Come influenzeranno diversi design di RM le prestazioni del PT?

Per valutare queste domande, abbiamo confrontato quattro configurazioni di agenti-due usando l'algoritmo DQRM con RMs distinti e due usando un approccio tradizionale senza RMs. Gli agenti sono stati addestrati in entrambi gli ambienti per valutare le loro prestazioni attraverso diverse fasi.

#Risultati di Efficienza di Formazione

In entrambi gli ambienti, gli agenti che utilizzano il framework DQRM hanno dimostrato un'efficienza di formazione migliorata rispetto a quelli che usano metodi tradizionali. I risultati hanno indicato che gli agenti guidati dalla RM sono riusciti a ottenere premi medi più alti con meno azioni intraprese.

#Risultati di Prestazione di Valutazione

I test hanno rivelato che gli agenti DQRM hanno superato gli agenti tradizionali in termini di cattura efficiente dei flag e raggiungimento degli obiettivi. Le differenze nel numero medio di passaggi effettuati dagli agenti hanno dimostrato che le RM hanno effettivamente fornito un vantaggio prezioso durante il processo di testing.

#Impatto dei Design delle RM sulle Prestazioni

Analizzando le prestazioni degli agenti guidati da diverse RM, è emerso che quelli con linee guida più dettagliate e strutturate hanno performato meglio di quelli con design più semplici. Gli agenti con RM più sfumate sono riusciti a navigare nel processo di PT in modo più efficace e raggiungere gli obiettivi con meno azioni.

#Conclusione e Direzioni Future

In sintesi, il nostro framework AutoPT informato dalla conoscenza, DRLRM-PT, integra efficacemente la conoscenza del dominio nel processo di Apprendimento per rinforzo, migliorando le capacità dei test di penetrazione automatizzati. Il nostro studio mette in evidenza l'importanza di impiegare una guida strutturata attraverso le RM per migliorare l'efficienza di apprendimento e le prestazioni degli agenti durante i test.

Il lavoro futuro coinvolgerà l'esplorazione di RM più sofisticate informate da ulteriori basi di conoscenza sulla cybersecurity, mirato ad aumentare l'adattabilità e l'efficacia del sistema in vari scenari di PT. L'obiettivo è ampliare il campo dell'AutoPT oltre il movimento laterale per comprendere altre applicazioni critiche nei test di penetrazione.