PersuaBot: Una Nuova Era nella Persuasione dei Chatbot

La persuasione è importante in molte aree, come le iniziative sanitarie e la promozione di buone cause. I chatbot progettati per persuadere possono aiutare a migliorare questi sforzi. Tuttavia, la maggior parte dei chatbot ha bisogno di molti dati di formazione specifici, che possono essere difficili da raccogliere.

Per affrontare questo problema, proponiamo un nuovo metodo che utilizza modelli di linguaggio di grandi dimensioni (LLMs). Questi modelli sono molto flessibili e possono essere persuasivi su vari argomenti senza bisogno di dati di formazione specifici per ogni compito. A differenza dei metodi precedenti che si basavano su strategie fisse, il nostro chatbot prima crea Risposte utilizzando gli LLM, identifica i metodi di persuasione usati e sostituisce eventuali affermazioni non supportate con fatti verificati.

Abbiamo creato un chatbot, chiamato PersuaBot, e l'abbiamo testato in tre aree diverse: richiesta di donazioni, raccomandazioni e interventi sanitari. Nei test con conversazioni simulate e persone reali, abbiamo scoperto che PersuaBot era più Persuasivo rispetto ai chatbot precedenti e forniva Informazioni più accurate.

#Il Ruolo delle Tecnologie Persuasive

Le tecnologie persuasive mirano a modellare o cambiare come le persone si sentono o agiscono. Vari studi hanno dimostrato che queste tecnologie possono promuovere efficacemente il bene sociale, aiutare con il miglioramento della salute e migliorare gli sforzi di marketing. Nonostante il loro potenziale, molti chatbot persuasivi automatici affrontano ancora sfide nel fornire il messaggio giusto al momento giusto, specialmente quando mancano di dati di formazione progettati per compiti di persuasione.

Il nostro chatbot, PersuaBot, è progettato per essere fattuale, adattabile agli utenti e adatto a vari argomenti.

#Panoramica di PersuaBot

Per garantire che le risposte siano sia accurate che persuasive, PersuaBot ha un modulo unico di mantenimento della strategia. Questo modulo fa quanto segue:

1. Genera una risposta utilizzando l'LLM.
2. Scompone la risposta in sezioni, ognuna delle quali mostra una diversa strategia persuasiva.
3. Controlla l'Accuratezza di ogni sezione.
4. Se una sezione manca di supporto, chiede all'LLM di chiarire la domanda e recupera fatti da un database per supportare la strategia.
5. Infine, combina i risultati di tutte le sezioni per creare la risposta finale.

I chatbot passati si basavano spesso su conversazioni attentamente etichettate e strutturate, ma questo li rendeva meno adattabili. Alcuni studi precedenti hanno cercato di rendere i chatbot più user-friendly comprendendo le personalità degli utenti, ma raccogliere queste informazioni può essere difficile.

È stato riscontrato che gli LLM a volte inventano storie, il che può danneggiare la loro credibilità. Ad esempio, un chatbot potrebbe inventare un personaggio per persuadere un utente, portando a una perdita di fiducia se l'utente scopre la verità. Per contrastare questo, alcuni metodi hanno combinato il recupero di informazioni con gli LLM per garantire l'accuratezza. Ma questo approccio può talvolta danneggiare anche la persuasività.

In questo documento, presentiamo PersuaBot, un chatbot basato su LLM che si concentra prima di tutto sull'accuratezza. Sebbene gli LLM possano essere utili, possono anche creare informazioni false che potrebbero danneggiare la loro efficacia. Assicurando l'accuratezza fattuale con il nostro metodo, crediamo di poter mantenere le capacità persuasive dei chatbot.

#Il Nostro Approccio

I recenti miglioramenti negli LLM consentono loro di rilevare le emozioni degli utenti, formulare strategie adeguate e supportare le affermazioni con prove. Questa ricerca esplora come possiamo sfruttare al meglio le abilità persuasive degli LLM riducendo le informazioni errate.

La nostra idea principale è estrarre strategie dalle risposte provenienti dagli LLM e sostituire eventuali affermazioni non verificate con informazioni accurate dal nostro database.

PersuaBot utilizza una serie di passaggi, o pipeline, che include:

• Un modulo di gestione delle domande che recupera informazioni in base a ciò che chiede l'utente.
• Un modulo di mantenimento della strategia che si concentra sia sulla creazione di risposte persuasive sia sulla verifica dei fatti.

Ogni parte di questa pipeline opera senza bisogno di dataset specifici per il dominio.

#Modulo di Mantenimento della Strategia

In questo modulo, l'LLM crea una risposta in base alle istruzioni fornite. Poi la elaboriamo per garantire che le informazioni siano accurate mantenendo comunque le strategie persuasive.

#Estrazione della Strategia

Per trovare le strategie di persuasione in una risposta, l'LLM analizza la cronologia della conversazione e la descrizione del compito. Scompone la risposta in sezioni che si allineano con le diverse strategie.

Durante questo processo, identifichiamo quali parti della risposta corrispondono a quale strategia, permettendoci di verificarle accuratamente.

#Verifica dei Fatti e Recupero delle Informazioni

Una volta identificate le strategie, scomponiamo ogni risposta in affermazioni che richiedono prove. Utilizzando il recupero delle informazioni, estraiamo dati pertinenti per supportare queste affermazioni. Se una sezione particolare della risposta manca di supporto, invece di rimuoverla semplicemente, utilizziamo prove dal nostro database.

Questo approccio aiuta a garantire che anche se una strategia è presente, sia supportata da informazioni fattuali.

#Modulo di Gestione delle Domande

Questo modulo si concentra sul recupero delle informazioni necessarie per rispondere alle domande degli utenti. Gioca un ruolo importante quando gli utenti fanno richieste specifiche. Se un utente non fa domande ma partecipa a una conversazione informale, questa parte viene saltata.

#Combinazione dei Risultati

Alla fine del processo, uniamo le informazioni fattuali ottenute dai nostri moduli in una risposta finale. Questo aiuta a creare risposte che siano sia accurate che allineate con le strategie di persuasione.

I nostri esperimenti includono test in vari ambiti come richieste di donazioni, raccomandazioni e consapevolezza sanitaria.

#Impostazione Sperimentale

Per validare il nostro sistema, abbiamo confrontato PersuaBot con altri chatbot, incluso uno focalizzato sulla conoscenza e uno persuasivo costruito manualmente progettato per le donazioni. Tutti i test sono stati condotti in inglese utilizzando il modello GPT-3.5-turbo.

#Metriche di Valutazione

Utilizziamo quattro criteri principali per valutare la qualità delle conversazioni:

• Persuasività: La risposta ha cambiato le credenze dell'utente?
• Rilevanza: La risposta era in tema?
• Naturalità: La risposta sembrava naturale nel contesto?
• Onestà: Il chatbot si è presentato in modo veritiero e non come un umano?

Ciascuno di questi criteri viene valutato su una scala da 1 a 5. L'obiettivo della metrica di onestà è garantire che i chatbot non ingannino gli utenti.

#Conversazioni Simulate

Per valutare il nostro metodo, abbiamo utilizzato conversazioni simulate che presentavano diverse personalità degli utenti, sia amichevoli che scettiche. Questo ci consente di vedere quanto bene il chatbot si comporta in varie situazioni e risposte.

I nostri utenti simulati potevano includere una vasta gamma di atteggiamenti, aiutandoci a capire quanto efficace diventa il chatbot con ciascun tipo di utente.

#Risultati della Valutazione della Qualità Conversazionale

I risultati mostrano chiaramente che PersuaBot ha punteggi superiori in persuasività rispetto ad altri chatbot in tutti i compiti testati. Il chatbot non solo mantiene un elevato livello di onestà, ma rimane anche rilevante e naturale nelle sue risposte.

#Esperimenti con Utenti Reali

Oltre alle conversazioni simulate, abbiamo condotto studi con utenti reali in cui i partecipanti interagivano con i chatbot. Ci siamo concentrati sul compito di donazione, poiché il chatbot progettato manualmente era limitato a quest'area.

In queste conversazioni, agli utenti è stato chiesto di valutare i chatbot dopo le loro interazioni. I nostri risultati hanno mostrato che PersuaBot ha superato tutti i chatbot di base sia in persuasività che in accuratezza fattuale.

#Commenti e Feedback degli Utenti

Dopo le loro conversazioni, gli utenti hanno fornito feedback che ha messo in evidenza l'efficacia di PersuaBot, sottolineando anche aree di miglioramento, come evitare ripetitività e fare attenzione a non ingannare gli utenti con affermazioni che potrebbero sembrare eccessivamente personali.

#Strategie Utilizzate dagli LLM

Attraverso il nostro studio, abbiamo scoperto che gli LLM possono creare strategie diverse e pertinenti senza necessità di definizioni predefinite. Ogni compito ha prodotto un insieme unico di strategie, enfatizzando l'adattabilità del chatbot.

#Valutazione Automatica

Utilizzare gli LLM per valutare la qualità delle conversazioni si è rivelato efficiente. Questi modelli avanzati hanno dimostrato una maggiore efficacia nella gestione del testo rispetto ai metodi automatizzati tradizionali.

#Considerazioni Etiche

La persuasione è uno strumento potente con un potenziale sia positivo che negativo. Per evitare manipolazioni, ci assicuriamo che il nostro chatbot non utilizzi contenuti dannosi. Il nostro chatbot valuta le sue conversazioni per evitare di presentare informazioni fuorvianti. Miriamo a fare di PersuaBot una forza per il bene attraverso un uso responsabile ed etico, migliorando il cambiamento positivo mentre minimizziamo la disinformazione.

#Conclusione

Abbiamo dimostrato che è possibile creare un chatbot fattuale e persuasivo senza perdere la capacità di persuasione dell'LLM in modo zero-shot. Estraendo strategie e fondandole su informazioni accurate, il nostro approccio consente interazioni di alta qualità con gli utenti.

I risultati provenienti sia da esperimenti simulati che reali confermano l'efficacia di PersuaBot, dimostrando la sua superiorità in fatto di factualità e persuasione rispetto ai metodi esistenti. Il nostro sistema fornisce una soluzione affidabile per creare chatbot efficaci adatti a diversi contesti e utenti.