Presentiamo LEXI: Uno Strumento per la Ricerca sull'IAH

I recenti progressi nei grandi modelli di linguaggio (LLM) stanno cambiando il modo in cui interagiamo con gli agenti artificiali. Questi agenti stanno diventando sempre più comuni in molte aree della vita, e la loro influenza sugli utenti continua a crescere. Tuttavia, la ricerca su come le persone interagiscono socialmente con questi agenti alimentati da LLM è ancora nelle fasi iniziali. L'accesso alla tecnologia e ai dati necessari è limitato, non ci sono interfacce standardizzate e i ricercatori affrontano sfide quando cercano di impostare esperimenti controllati.

Per aiutare con questi problemi, è stato sviluppato un nuovo strumento chiamato LEXI. LEXI, che sta per Large Language Models Experimentation Interface, è un software open-source che consente ai ricercatori di creare e testare agenti artificiali alimentati da LLM in studi di interazione sociale. Con un'interfaccia grafica facile da usare, LEXI rende più semplice per i ricercatori costruire agenti, impostare esperimenti, raccogliere dati e analizzare interazioni.

#La necessità di strumenti di ricerca migliori

Gli agenti artificiali conversazionali, come i chatbot, sono spesso usati negli studi comportamentali per coinvolgere gli utenti e suscitare risposte emozionali. Queste interazioni possono cambiare il modo in cui le persone percepiscono e si comportano nei confronti della tecnologia, impattando le loro emozioni e il benessere generale. L'aggiunta di LLM a questi agenti segna un passo importante nella ricerca sulle interazioni umane-agente (HAI). Tuttavia, c'è ancora un significativo divario nell'indagine su come gli utenti interagiscono con gli agenti alimentati da LLM.

Molti ricercatori potrebbero non avere gli strumenti o le risorse necessarie per utilizzare questi modelli avanzati in modo efficace. Spesso non hanno accesso all'infrastruttura giusta e potrebbero avere difficoltà a integrare vari componenti tecnici necessari per la distribuzione. Questo porta a concentrarsi sull'osservazione dei contenuti prodotti da questi agenti piuttosto che a studiare le vere interazioni degli utenti. Per affrontare questo gap, abbiamo bisogno di più ricerche empiriche su come le persone si impegnano con questi agenti avanzati e sugli effetti di varie configurazioni e suggerimenti sul comportamento degli utenti.

#Introducendo LEXI

LEXI è stato progettato specificamente per condurre esperimenti su HAI utilizzando la tecnologia LLM. Lo strumento fornisce un'interfaccia grafica (GUI) che consente ai ricercatori di sollecitare agenti alimentati da LLM e distribuirli in design sperimentali controllati. Include funzionalità per raccogliere dati tramite Questionari e annotazioni, consentendo una raccolta e analisi efficienti delle interazioni sociali.

Utilizzando LEXI, i ricercatori possono risparmiare tempo e risorse, consentendo studi più efficaci. Possono confrontare sistematicamente suggerimenti, modelli e comportamenti degli utenti senza dover creare agenti da zero. Questa standardizzazione facilita metodi e risultati sperimentali più robusti e replicabili.

Inoltre, il design di LEXI rispecchia interfacce di chatbot familiari, contribuendo a mantenere la validità ecologica riflettendo scenari reali. Include anche un sistema di registrazione dei partecipanti, garantendo interazioni a lungo termine tra ricercatori e partecipanti, il che aumenta il coinvolgimento degli utenti.

#Stato attuale dello sviluppo dei chatbot

Prima che i LLM diventassero diffusi, varie piattaforme online aiutavano gli utenti a creare semplici chatbot. Questi chatbot funzionavano principalmente su script predefiniti e erano integrati in piattaforme social media esistenti. Sebbene questi strumenti fossero principalmente rivolti a piccole imprese, non supportavano appieno la comunità di ricerca accademica.

Alcune piattaforme, come Dialogflow di Google, consentivano agli utenti di costruire chatbot basati su regole con alcune personalizzazioni. Questi strumenti hanno guadagnato popolarità nella ricerca, fornendo una significativa comunità di sviluppatori e supportando la sperimentazione. Tuttavia, con l'emergere dei LLM, l'attenzione ai chatbot si è spostata sull'utilizzo delle potenti capacità dei LLM.

I ricercatori hanno iniziato a distribuire i propri chatbot alimentati da LLM utilizzando varie API, come l'API di OpenAI. Sebbene questi chatbot fai-da-te offrano flessibilità, spesso richiedono competenze tecniche e possono essere limitati in termini di funzionalità e complessità. Molte piattaforme esistenti, anche quelle destinate ai ricercatori, non consentono il controllo approfondito necessario negli studi empirici.

#Sfide nelle piattaforme attuali

Il panorama attuale rivela lacune nella capacità di condurre esperimenti HAI rigorosi e replicabili. La maggior parte delle piattaforme si rivolge a esigenze aziendali, mancando delle caratteristiche necessarie per gestire esperimenti in corso o raccogliere dati dettagliati sulle interazioni. Gli strumenti esistenti si concentrano spesso su interazioni a singolo agente, limitando la capacità di studiare condizioni sperimentali complesse.

Inoltre, molte piattaforme impongono restrizioni significative sulla raccolta dei dati. I ricercatori che utilizzano queste piattaforme spesso non hanno accesso ai log delle interazioni o ai dati auto-riportati. Inoltre, l'approccio fai-da-te utilizzando le API LLM, nonostante sia efficiente in termini di risorse, spesso porta a agenti semplificati che potrebbero non soddisfare i requisiti per configurazioni sperimentali rigorose.

#Design e caratteristiche di LEXI

LEXI mira a fornire una soluzione per le sfide affrontate nella ricerca HAI. È progettato per migliorare l'accesso alla tecnologia LLM mantenendo il controllo sperimentale. I ricercatori possono sollecitare agenti alimentati da LLM attraverso un'interfaccia grafica, che aiuta a standardizzare gli studi e migliorare la replicabilità dei metodi e dei risultati.

Lo strumento è open-source, rendendolo accessibile a ricercatori di vari ambiti, comprese le scienze sociali e comportamentali. Favorisce contributi e collaborazione all'interno della comunità di ricerca, promuovendo l'inclusività nella ricerca HAI.

#Caratteristiche chiave di LEXI

1. Interfaccia user-friendly: La GUI di LEXI è progettata per essere intuitiva, rendendo facile per i ricercatori impostare e gestire esperimenti senza eccessive competenze tecniche.

2. Gestione degli esperimenti: I ricercatori possono creare e gestire esperimenti dettagliati. Possono facilmente impostare parametri, assegnare partecipanti a diverse condizioni e monitorare lo stato degli esperimenti.

3. Creazione di agenti: I ricercatori possono creare e personalizzare agenti alimentati da LLM, specificando come interagiscono con gli utenti in base a input iterativi degli utenti.

4. Moduli e questionari: LEXI consente ai ricercatori di costruire moduli per raccogliere dati auto-riportati prima e dopo le interazioni, semplificando il processo di raccolta dei dati.

5. Archiviazione e analisi dei dati: I dati raccolti vengono archiviati in un database MongoDB, consentendo un facile accesso e esportazione in vari formati per l'analisi.

#Test di usabilità di LEXI

Per valutare l'usabilità di LEXI, è stato condotto un test con ricercatori di diversi settori. Ai partecipanti è stato chiesto di completare una serie di compiti utilizzando LEXI, come impostare agenti ed esperimenti. I loro feedback sono stati raccolti riguardo la facilità d'uso, il tempo impiegato per i compiti, e il carico mentale durante il processo.

In generale, i risultati hanno mostrato che i partecipanti hanno trovato LEXI facile da usare, con un tempo minimo necessario per completare i compiti. Le risposte hanno indicato un'alta soddisfazione per il design e la funzionalità dello strumento. I ricercatori hanno espresso entusiasmo per il potenziale di LEXI di migliorare i loro studi.

#Studio pilota usando LEXI

Per convalidare le capacità di LEXI, è stato condotto uno studio di prova confrontando agenti empatici e neutri nel modo in cui interagivano con gli utenti. Lo studio ha coinvolto 100 partecipanti assegnati casualmente a interagire con un agente empatico o un agente neutro alimentato da GPT-3.5-turbo.

I partecipanti hanno completato questionari iniziali per valutare il loro umore e la loro demografia, poi hanno interagito con l'agente prima di segnalare di nuovo il loro umore. I log delle interazioni sono stati raccolti per ulteriori analisi.

#Risultati dello studio pilota

Lo studio ha rivelato che i partecipanti che interagivano con l'agente empatico riportavano livelli più alti di coinvolgimento emotivo, scrivevano messaggi più lunghi e esprimevano sentimenti più positivi rispetto a quelli che interagivano con l'agente neutro. Inoltre, i partecipanti hanno riportato miglioramenti dell'umore dopo aver interagito con l'agente empatico.

Questi risultati mettono in evidenza l'importanza dello stile comunicativo dell'agente nel plasmare l'esperienza e il sentimento degli utenti. LEXI si è dimostrato uno strumento efficace per raccogliere dati di alta qualità in questo contesto.

#Considerazioni etiche nella ricerca HAI

Con l'aumento dei LLM in contesti sociali, è fondamentale comprendere le implicazioni etiche del dispiegamento di agenti artificiali. LEXI mira a contribuire all'uso responsabile dei LLM facilitando ricerche empiriche rigorose. I risultati degli studi che utilizzano LEXI possono informare le migliori pratiche e le linee guida per interazioni etiche tra esseri umani e agenti AI.

Mantenere la privacy dei partecipanti è altresì essenziale. Mentre i ricercatori distribuiscono agenti con LEXI, hanno la responsabilità di proteggere i dati dei partecipanti, proprio come farebbero con qualsiasi altro strumento di ricerca.

#Il futuro di LEXI e della ricerca HAI

Mentre LEXI attualmente offre funzionalità chiave per condurre esperimenti complessi, lo sviluppo continuo migliorerà le sue capacità. Gli sviluppi futuri includeranno più opzioni per condizioni sperimentali, memoria migliorata e connessioni a vari LLM.

L'obiettivo è creare un ambiente di ricerca versatile che si adatti alle esigenze della comunità di ricerca HAI, rendendo più facile per i ricercatori esplorare le interazioni con gli agenti alimentati da LLM.

#Conclusione

In sintesi, LEXI è uno strumento promettente per far avanzare la ricerca sulle interazioni sociali con agenti artificiali alimentati da grandi modelli di linguaggio. Fornendo un'interfaccia user-friendly e funzionalità robuste per gestire esperimenti, LEXI affronta molte delle sfide che i ricercatori devono affrontare in questo campo. Con l'evolversi della comunità di ricerca, LEXI continuerà a facilitare studi innovativi che approfondiscono la nostra comprensione delle interazioni umane-agente e delle loro implicazioni per la società.