Valutare il ruolo di ChatGPT nell'ingegneria dei requisiti

L'intelligenza artificiale (IA) sta diventando una parte importante delle nostre vite quotidiane. Con tutta questa mole di dati che si generano nel mondo, è fondamentale che i sistemi IA siano sicuri, affidabili e degni di fiducia. Un'IA affidabile significa che questi sistemi devono seguire regole e standard etici mentre vengono sviluppati e utilizzati. Questo è particolarmente importante ora che nuove leggi, come l'AI Act dell'Unione Europea, si apprestano a guidare come creiamo e gestiamo l'IA.

L'Ingegneria dei Requisiti (RE) è una parte cruciale per costruire qualsiasi prodotto, specialmente quando si parla di tecnologia ed etica. Durante il processo di RE, diversi soggetti coinvolti (come sviluppatori, utenti e aziende) si confrontano e collaborano per assicurarsi che le preoccupazioni di tutti vengano ascoltate, in particolare quelle che riguardano l'affidabilità dell'IA. Raccogliere requisiti di qualità è una parte chiave di questo processo.

Il linguaggio naturale, il modo in cui parliamo e scriviamo normalmente, è spesso utilizzato per scrivere requisiti nelle industrie di oggi. Questa connessione tra linguaggio naturale e requisiti ha portato all'idea del Natural Language Processing (NLP) per l'Ingegneria dei Requisiti (NLP4RE). L'NLP si riferisce all'uso della tecnologia per aiutare a comprendere e generare il linguaggio umano. Nella RE, gli strumenti NLP possono aiutare a migliorare la qualità dei requisiti risolvendo problemi di linguaggio e rendendoli più chiari.

La Generazione del Linguaggio Naturale (NLG) è una parte dell'NLP. Aiuta a creare frasi e paragrafi significativi in linguaggio umano. Tuttavia, l'uso di strumenti IA, in particolare l'IA Generativa che può creare nuovi testi, per raccogliere requisiti è ancora limitato. Questo divario indica che c'è molto potenziale per migliorare il modo in cui raccogliamo requisiti e, di conseguenza, la qualità dei prodotti finali.

Ultimamente, i Grandi Modelli di Linguaggio (LLM) come ChatGPT sono diventati popolari per la loro capacità di performare bene in vari compiti linguistici. ChatGPT è progettato per la conversazione e può scrivere in modo che sembri umano, rispondendo a domande mentre tiene traccia della discussione. Anche se è stato addestrato su molte informazioni generali, ha dimostrato di essere efficace in compiti più specifici.

Non ci sono stati molti studi su come modelli IA come ChatGPT possono aiutare a raccogliere requisiti, quindi questo studio cerca di esplorare quel potenziale. Confrontando la qualità dei requisiti generati da ChatGPT con quelli sviluppati da esperti umani, speriamo di apprendere i punti di forza e di debolezza di ciascun approccio.

#Domande di Ricerca

Per guidare la nostra esplorazione, abbiamo posto tre domande principali:

1. Quali qualità dei requisiti generati da ChatGPT erano le più alte?
2. Quali problemi o carenze sono state riscontrate nei requisiti generati da ChatGPT?
3. Come si confrontava la qualità dei requisiti generati da ChatGPT con quelli degli esperti umani?

#Contesto

#IA Affidabile

L'IA affidabile ha diverse qualità chiave basate su linee guida seguite dalle organizzazioni. Queste includono accuratezza, sicurezza, non discriminazione, trasparenza, responsabilità e privacy. È cruciale che chiunque sia coinvolto nello sviluppo dell'IA abbia una buona comprensione di queste qualità per creare sistemi IA efficaci e responsabili.

#Attributi di Qualità dei Requisiti

Per questo studio, abbiamo esaminato sette attributi importanti per valutare la qualità dei requisiti: astrazione (quanto sono generali o ampi i requisiti), atomicità (quanto sono ben definiti e chiari), coerenza, correttezza, unambiguità, comprensibilità e fattibilità (se possono essere realisticamente raggiunti).

#Utilizzo di ChatGPT per Raccogliere Requisiti

Nel nostro studio, abbiamo utilizzato un approccio in due fasi. La prima fase consisteva nel porre a ChatGPT domande specifiche per raccogliere requisiti per lo sviluppo di sistemi IA affidabili. La seconda fase prevedeva interviste con esperti per raccogliere ulteriori informazioni.

Abbiamo progettato sei domande mirate allo sviluppo di requisiti per sistemi IA affidabili. Queste domande sono state formulate in modo generale così da poter applicare a vari sistemi IA, coprendo aree come accuratezza, trasparenza, privacy e la necessità di supervisione umana.

Una volta formulate le domande, le abbiamo fornite a ChatGPT insieme ad un po' di contesto per guidare le sue risposte. Abbiamo registrato le risposte generate da ChatGPT per assicurarci di avere dati chiari per la nostra analisi.

#Risposte di ChatGPT e Interviste con Esperti

Per raccolgiere requisiti qualitativi in modo più approfondito, abbiamo condotto interviste con cinque esperti nel campo dell'ingegneria dei requisiti per sistemi IA. Durante queste interviste, abbiamo presentato le stesse sei domande poste a ChatGPT. Abbiamo informato i partecipanti che le loro risposte sarebbero state raccolte per scopi di ricerca e garantito la loro riservatezza.

Dopo aver raccolto le risposte da entrambe le fonti (ChatGPT ed esperti umani), abbiamo terminato con un totale di 36 requisiti. Abbiamo poi presentato questi requisiti a un altro gruppo di cinque esperti per valutare la loro qualità basata sugli attributi definiti in precedenza.

#Risultati e Analisi

#Punteggi di Qualità

Analizzando i dati, ci siamo concentrati su quanto bene i requisiti generati da ChatGPT performassero in termini di attributi di qualità rispetto a quelli degli esperti umani. In generale, i risultati indicavano che l'output di ChatGPT tendeva a raggiungere livelli elevati di astrazione, correttezza e comprensibilità. Tuttavia, l'unambiguità e la fattibilità sono state identificate come i punti più deboli.

#Attributi di Alta Qualità

I requisiti generati da ChatGPT hanno ottenuto punteggi particolarmente buoni nelle seguenti aree:

• Astrazione: La capacità di rimanere ampi catturando idee essenziali.
• Correttezza: L'accuratezza delle informazioni fornite.
• Comprensibilità: Quanto erano chiari e facili da capire i requisiti.

#Attributi di Bassa Qualità

D'altro canto, le due aree in cui ChatGPT ha avuto difficoltà sono state:

• Unambiguità: A volte i requisiti mancavano di chiarezza e potevano essere interpretati in modi diversi, rendendoli confusi.
• Fattibilità: Alcuni requisiti proposti da ChatGPT erano difficili o impossibili da mettere in pratica, spesso a causa di vincoli tecnologici o mancanza di risorse disponibili.

#Confronto tra Requisiti di ChatGPT e Esperti Umani

Confrontando i risultati di ChatGPT con quelli generati da esperti umani sono emerse intuizioni interessanti. Nella maggior parte delle aree, i requisiti generati da ChatGPT hanno superato quelli degli esperti umani in termini di astrazione, correttezza e comprensibilità. Tuttavia, gli esperti umani hanno fornito requisiti più fattibili e unambigui in alcune aree importanti.

#Limitazioni di ChatGPT

Sebbene ChatGPT produca molti requisiti di alta qualità, era evidente che il modello ha delle limitazioni. I punteggi più bassi in unambiguità e fattibilità indicavano che ci sono stati momenti in cui i requisiti generati erano poco chiari o irrealistici.

Inoltre, ci sono stati aspetti specifici di qualità relativi a responsabilità, regolamentazione e sicurezza che nessuna risposta da ChatGPT o dai rispondenti umani ha toccato. Questo ha evidenziato la necessità di una maggiore consapevolezza e comprensione di questi fattori cruciali quando si sviluppano sistemi IA affidabili.

#Discussione

I risultati indicano che, sebbene ChatGPT mostri delle potenzialità nella generazione di requisiti di alta qualità, ci sono aree in cui è necessario prestare attenzione. L'ambiguità nei requisiti può portare a confusione durante i processi di progettazione e sviluppo, causando potenzialmente ritardi o complicazioni.

Sebbene l'IA possa aiutare significativamente in varie attività di ingegneria dei requisiti, è essenziale che esperti umani siano coinvolti nella revisione e nel perfezionamento dell'output per garantire chiarezza e applicabilità pratica.

#Ricerca Futura

Per approfondire la nostra comprensione di come i modelli come ChatGPT possano essere utilizzati efficacemente nell'ingegneria dei requisiti, la ricerca futura potrebbe concentrarsi su studi più ampi che coinvolgano un insieme diversificato di compiti in vari settori. Inoltre, sperimentare con modelli recenti come GPT-4 potrebbe portare a capacità più avanzate.

Incorporare interazioni più strutturate e tecniche di prompt potrebbe aiutare a migliorare le risposte di ChatGPT, portando forse a generazioni di requisiti ancora più chiare e fattibili.

Utilizzare i Knowledge Graphs potrebbe anche migliorare l'accuratezza dell'output permettendo al modello di accedere più facilmente a informazioni e fatti aggiornati.

#Conclusione

Questo studio ha dimostrato che ChatGPT può assistere nel processo di elicitation dei requisiti, offrendo supporto prezioso nella generazione di requisiti chiari, astratti e coerenti. Tuttavia, le problematiche di unambiguità e fattibilità suggeriscono che, mentre l'IA può essere una risorsa utile, la supervisione e l'esperienza umana rimangono cruciali per garantire la qualità dei requisiti.

Man mano che la tecnologia IA continua a crescere e svilupparsi, esplorare il suo potenziale in varie fasi dello sviluppo del prodotto sarà essenziale per rendere la creazione di sistemi affidabili più efficiente ed efficace. Le intuizioni ottenute da questa ricerca possono guidare lavori futuri verso una migliore integrazione dell'IA nell'ingegneria dei requisiti, assicurando che qualità fondamentali come l'affidabilità vengano mantenute.