Comprendere il comportamento degli utenti nella ricerca conversazionale

Con l'aumento della tecnologia, cercare informazioni online è diventato più semplice. I modelli linguistici di grandi dimensioni (LLM) stanno cambiando il modo in cui otteniamo informazioni dal web. Permettono agli utenti di interagire con i motori di ricerca in modo più naturale, usando un linguaggio quotidiano invece di semplici parole chiave. Questo passaggio da ricerche tradizionali a un approccio più conversazionale offre importanti indizi su ciò che gli utenti vogliono e su quanto siano soddisfatti dei risultati.

#Importanza delle Domande di Follow-Up

Una domanda di follow-up è la risposta di un utente alla risposta del motore di ricerca. Indica cosa sta pensando o cercando l'utente nel passo successivo. Queste domande di follow-up possono esprimere soddisfazione, confusione o desiderio di ulteriori informazioni. Comprendere perché gli utenti pongono queste domande di follow-up aiuta i ricercatori e gli sviluppatori a migliorare l'esperienza di ricerca. Tuttavia, non ci sono molte ricerche su come queste domande si collegano alla Soddisfazione dell'utente.

#Obiettivi della Ricerca

Questa ricerca mira a rispondere a due domande principali:

1. In che modo l'interazione dell'utente nella Ricerca Conversazionale differisce dai metodi di ricerca tradizionali?
2. Come si collegano queste interazioni alla soddisfazione dell'utente?

Queste domande guidano la nostra analisi del comportamento degli utenti nelle impostazioni di ricerca conversazionale.

#Costruire una Tassonomia del Comportamento degli Utenti

Per capire come gli utenti interagiscono con i motori di ricerca conversazionali, abbiamo esaminato conversazioni reali degli utenti. Attraverso un'analisi qualitativa, abbiamo sviluppato una tassonomia che categorizza le domande di follow-up degli utenti. Questa tassonomia include due parti chiave:

1. Motivazioni degli utenti: Perché gli utenti continuano le conversazioni - come cercare chiarimenti o informazioni aggiuntive.
2. Azioni delle domande di follow-up: Le azioni specifiche che gli utenti compiono quando pongono domande di follow-up, come escludere certe condizioni o chiedere informazioni correlate.

#Raccolta Dati

#Test con Utenti in Laboratorio

Abbiamo raccolto dati attraverso test in laboratorio. I partecipanti hanno completato compiti utilizzando un motore di ricerca conversazionale per query predefinite. Il nostro obiettivo era catturare una varietà di interazioni, da domande generali a richieste specifiche di informazioni. Dopo aver reclutato partecipanti con esperienza nell'uso dell'IA ma non dei motori di ricerca conversazionali, abbiamo registrato le loro interazioni.

#Raccolta Dati nel Mondo Reale

Oltre ai dati di laboratorio, abbiamo raccolto dati reali analizzando le conversazioni degli utenti dal motore di ricerca. Abbiamo raccolto migliaia di tuple di conversazione, che sono insiemi di scambi tra utenti e sistema. Abbiamo anche fatto valutare da esperti esterni il livello di soddisfazione di questi scambi utilizzando una scala.

#Analisi delle Domande di Follow-Up

Utilizzando i dati raccolti, abbiamo codificato con attenzione le conversazioni nella nostra tassonomia. Abbiamo identificato temi emersi dalle interazioni, permettendoci di comprendere meglio le intenzioni degli utenti e come queste intenzioni influenzano la loro soddisfazione con i risultati di ricerca.

#Temi di Motivazione dell'Utente

Abbiamo trovato diverse motivazioni dietro le domande di follow-up:

1. Domande di Chiarimento: Gli utenti vogliono assicurarsi che la loro intenzione sia chiara, spesso ponendo domande simili per ottenere risposte più specifiche.
2. Esplorazione del Dominio: Gli utenti possono cercare informazioni più ampie su un argomento.
3. Comprendere la Risposta: Gli utenti chiedono ulteriori informazioni se trovano la risposta insufficiente.
4. Affinare i Dettagli: Gli utenti cercano dettagli specifici su qualcosa menzionato in query precedenti.
5. Cercare Rappresentazioni Diverse: Gli utenti possono volere informazioni presentate in formati diversi, come tabelle o immagini.

#Azioni delle Domande di Follow-Up

Le azioni che gli utenti compiono nelle domande di follow-up rientrano in diverse categorie:

1. Escludere Condizioni: Gli utenti rimuovono condizioni specifiche dalle query precedenti.
2. Aggiungere/Specificare Condizioni: Gli utenti includono nuovi dettagli o requisiti nelle loro query.
3. Sostituire Condizioni: Gli utenti riformulano le loro query con parole diverse ma significato simile.
4. Convertire Formato: Gli utenti richiedono che le informazioni siano presentate in un formato diverso.
5. Richiedere Informazioni Aggiuntive: Gli utenti chiedono più informazioni relative alla risposta ricevuta.
6. Criticare la Risposta: Gli utenti esprimono insoddisfazione per le informazioni fornite.

#Classificare i Modelli di Interazione con LLM

Per analizzare le interazioni degli utenti su larga scala, abbiamo costruito un classificatore alimentato da un modello linguistico di grandi dimensioni. Questo classificatore categorizza automaticamente le domande degli utenti secondo la nostra tassonomia stabilita.

#Processo di Sviluppo del Classificatore

Abbiamo sviluppato il classificatore attraverso diversi passaggi:

1. Design Iniziale: Abbiamo iniziato con un insieme di definizioni per ogni tema.
2. Testing Iterativo: Abbiamo testato il classificatore con esempi codificati manualmente dai dati raccolti.
3. Raffinamento: Abbiamo migliorato il classificatore in base alle sue prestazioni, adattando definizioni e aggiungendo nuovi temi secondo necessità.

Attraverso questo processo, abbiamo raggiunto un livello di accuratezza soddisfacente nella classificazione delle domande degli utenti relative alle loro motivazioni e azioni durante le conversazioni.

#Risultati e Scoperte

#Soddisfazione dell'Utente

Dopo aver analizzato i dati reali utilizzando il nostro classificatore, siamo riusciti a collegare i modelli di interazione degli utenti ai livelli di soddisfazione. Abbiamo notato che alcuni temi avevano correlazioni più forti con esperienze positive degli utenti, mentre altri indicavano confusione o insoddisfazione.

#Osservazioni Chiave

1. Domande di Chiarimento: Spesso collegate a punteggi di soddisfazione più bassi, suggerendo che gli utenti stavano lottando per comunicare efficacemente i loro bisogni.
2. Richiesta di Informazioni Aggiuntive: Generalmente associate a una maggiore soddisfazione, indicando che gli utenti erano ansiosi di sapere di più quando erano soddisfatti delle risposte iniziali.
3. Criticare le Risposte: Collegate all'insoddisfazione, evidenziando spesso problemi con l'affidabilità o la rilevanza delle risposte del motore di ricerca.

#Applicazione della Tassonomia

Le nostre scoperte hanno implicazioni pratiche per migliorare i motori di ricerca. Identificando le motivazioni dietro le domande degli utenti, gli sviluppatori possono creare sistemi migliori. Ad esempio, se gli utenti chiedono frequentemente chiarimenti, suggerisce che i motori di ricerca devono comprendere le query in modo più chiaro o fornire risposte più appropriate.

#Implicazioni per la Ricerca e Sviluppo Futuro

Comprendere il comportamento degli utenti attraverso la nostra tassonomia apre la strada per migliorare l'esperienza di ricerca complessiva. Le intuizioni ottenute possono aiutare:

1. Guidare il Design del Sistema: Migliorare le capacità di riconoscimento e risposta ai bisogni degli utenti in tempo reale.
2. Personalizzare le Interazioni degli Utenti: Sviluppare sistemi che si adattano alle preferenze individuali degli utenti in base ai loro modelli di query.
3. Simulare il Comportamento degli Utenti: Creare modelli realistici delle interazioni degli utenti per prevedere risultati e migliorare le performance della ricerca conversazionale.

#Direzioni per Lavori Futuri

Ulteriori ricerche potrebbero esplorare modelli conversazionali più complessi oltre agli scambi a due turni. Dobbiamo catturare archi conversazionali completi e come le informazioni evolvono nel corso di più interazioni. Inoltre, studi che coinvolgono valutazioni di soddisfazione generate dagli utenti potrebbero fornire approfondimenti più approfonditi su quanto bene i motori di ricerca soddisfano i bisogni degli utenti.

#Conclusione

L'uso di modelli linguistici di grandi dimensioni e lo sviluppo di una tassonomia per le domande di follow-up possono migliorare significativamente la nostra comprensione del comportamento degli utenti nella ricerca conversazionale. Classificando le interazioni e analizzando la soddisfazione degli utenti, possiamo migliorare la tecnologia per soddisfare meglio le esigenze degli utenti che cercano informazioni. I lavori in corso in quest'area continueranno a plasmare il modo in cui gli utenti interagiscono con i motori di ricerca, portando a sistemi più intuitivi e reattivi.