Comprendere il comportamento degli utenti nella ricerca conversazionale
Questa ricerca esplora le domande di follow-up e la soddisfazione degli utenti nei motori di ricerca conversazionali.
― 6 leggere min
Indice
- Importanza delle Domande di Follow-Up
- Obiettivi della Ricerca
- Costruire una Tassonomia del Comportamento degli Utenti
- Raccolta Dati
- Analisi delle Domande di Follow-Up
- Temi di Motivazione dell'Utente
- Azioni delle Domande di Follow-Up
- Classificare i Modelli di Interazione con LLM
- Processo di Sviluppo del Classificatore
- Risultati e Scoperte
- Soddisfazione dell'Utente
- Applicazione della Tassonomia
- Implicazioni per la Ricerca e Sviluppo Futuro
- Direzioni per Lavori Futuri
- Conclusione
- Fonte originale
- Link di riferimento
Con l'aumento della tecnologia, cercare informazioni online è diventato più semplice. I modelli linguistici di grandi dimensioni (LLM) stanno cambiando il modo in cui otteniamo informazioni dal web. Permettono agli utenti di interagire con i motori di ricerca in modo più naturale, usando un linguaggio quotidiano invece di semplici parole chiave. Questo passaggio da ricerche tradizionali a un approccio più conversazionale offre importanti indizi su ciò che gli utenti vogliono e su quanto siano soddisfatti dei risultati.
Importanza delle Domande di Follow-Up
Una domanda di follow-up è la risposta di un utente alla risposta del motore di ricerca. Indica cosa sta pensando o cercando l'utente nel passo successivo. Queste domande di follow-up possono esprimere soddisfazione, confusione o desiderio di ulteriori informazioni. Comprendere perché gli utenti pongono queste domande di follow-up aiuta i ricercatori e gli sviluppatori a migliorare l'esperienza di ricerca. Tuttavia, non ci sono molte ricerche su come queste domande si collegano alla Soddisfazione dell'utente.
Obiettivi della Ricerca
Questa ricerca mira a rispondere a due domande principali:
- In che modo l'interazione dell'utente nella Ricerca Conversazionale differisce dai metodi di ricerca tradizionali?
- Come si collegano queste interazioni alla soddisfazione dell'utente?
Queste domande guidano la nostra analisi del comportamento degli utenti nelle impostazioni di ricerca conversazionale.
Costruire una Tassonomia del Comportamento degli Utenti
Per capire come gli utenti interagiscono con i motori di ricerca conversazionali, abbiamo esaminato conversazioni reali degli utenti. Attraverso un'analisi qualitativa, abbiamo sviluppato una tassonomia che categorizza le domande di follow-up degli utenti. Questa tassonomia include due parti chiave:
- Motivazioni degli utenti: Perché gli utenti continuano le conversazioni - come cercare chiarimenti o informazioni aggiuntive.
- Azioni delle domande di follow-up: Le azioni specifiche che gli utenti compiono quando pongono domande di follow-up, come escludere certe condizioni o chiedere informazioni correlate.
Raccolta Dati
Test con Utenti in Laboratorio
Abbiamo raccolto dati attraverso test in laboratorio. I partecipanti hanno completato compiti utilizzando un motore di ricerca conversazionale per query predefinite. Il nostro obiettivo era catturare una varietà di interazioni, da domande generali a richieste specifiche di informazioni. Dopo aver reclutato partecipanti con esperienza nell'uso dell'IA ma non dei motori di ricerca conversazionali, abbiamo registrato le loro interazioni.
Raccolta Dati nel Mondo Reale
Oltre ai dati di laboratorio, abbiamo raccolto dati reali analizzando le conversazioni degli utenti dal motore di ricerca. Abbiamo raccolto migliaia di tuple di conversazione, che sono insiemi di scambi tra utenti e sistema. Abbiamo anche fatto valutare da esperti esterni il livello di soddisfazione di questi scambi utilizzando una scala.
Analisi delle Domande di Follow-Up
Utilizzando i dati raccolti, abbiamo codificato con attenzione le conversazioni nella nostra tassonomia. Abbiamo identificato temi emersi dalle interazioni, permettendoci di comprendere meglio le intenzioni degli utenti e come queste intenzioni influenzano la loro soddisfazione con i risultati di ricerca.
Temi di Motivazione dell'Utente
Abbiamo trovato diverse motivazioni dietro le domande di follow-up:
- Domande di Chiarimento: Gli utenti vogliono assicurarsi che la loro intenzione sia chiara, spesso ponendo domande simili per ottenere risposte più specifiche.
- Esplorazione del Dominio: Gli utenti possono cercare informazioni più ampie su un argomento.
- Comprendere la Risposta: Gli utenti chiedono ulteriori informazioni se trovano la risposta insufficiente.
- Affinare i Dettagli: Gli utenti cercano dettagli specifici su qualcosa menzionato in query precedenti.
- Cercare Rappresentazioni Diverse: Gli utenti possono volere informazioni presentate in formati diversi, come tabelle o immagini.
Azioni delle Domande di Follow-Up
Le azioni che gli utenti compiono nelle domande di follow-up rientrano in diverse categorie:
- Escludere Condizioni: Gli utenti rimuovono condizioni specifiche dalle query precedenti.
- Aggiungere/Specificare Condizioni: Gli utenti includono nuovi dettagli o requisiti nelle loro query.
- Sostituire Condizioni: Gli utenti riformulano le loro query con parole diverse ma significato simile.
- Convertire Formato: Gli utenti richiedono che le informazioni siano presentate in un formato diverso.
- Richiedere Informazioni Aggiuntive: Gli utenti chiedono più informazioni relative alla risposta ricevuta.
- Criticare la Risposta: Gli utenti esprimono insoddisfazione per le informazioni fornite.
Classificare i Modelli di Interazione con LLM
Per analizzare le interazioni degli utenti su larga scala, abbiamo costruito un classificatore alimentato da un modello linguistico di grandi dimensioni. Questo classificatore categorizza automaticamente le domande degli utenti secondo la nostra tassonomia stabilita.
Processo di Sviluppo del Classificatore
Abbiamo sviluppato il classificatore attraverso diversi passaggi:
- Design Iniziale: Abbiamo iniziato con un insieme di definizioni per ogni tema.
- Testing Iterativo: Abbiamo testato il classificatore con esempi codificati manualmente dai dati raccolti.
- Raffinamento: Abbiamo migliorato il classificatore in base alle sue prestazioni, adattando definizioni e aggiungendo nuovi temi secondo necessità.
Attraverso questo processo, abbiamo raggiunto un livello di accuratezza soddisfacente nella classificazione delle domande degli utenti relative alle loro motivazioni e azioni durante le conversazioni.
Risultati e Scoperte
Soddisfazione dell'Utente
Dopo aver analizzato i dati reali utilizzando il nostro classificatore, siamo riusciti a collegare i modelli di interazione degli utenti ai livelli di soddisfazione. Abbiamo notato che alcuni temi avevano correlazioni più forti con esperienze positive degli utenti, mentre altri indicavano confusione o insoddisfazione.
Osservazioni Chiave
- Domande di Chiarimento: Spesso collegate a punteggi di soddisfazione più bassi, suggerendo che gli utenti stavano lottando per comunicare efficacemente i loro bisogni.
- Richiesta di Informazioni Aggiuntive: Generalmente associate a una maggiore soddisfazione, indicando che gli utenti erano ansiosi di sapere di più quando erano soddisfatti delle risposte iniziali.
- Criticare le Risposte: Collegate all'insoddisfazione, evidenziando spesso problemi con l'affidabilità o la rilevanza delle risposte del motore di ricerca.
Applicazione della Tassonomia
Le nostre scoperte hanno implicazioni pratiche per migliorare i motori di ricerca. Identificando le motivazioni dietro le domande degli utenti, gli sviluppatori possono creare sistemi migliori. Ad esempio, se gli utenti chiedono frequentemente chiarimenti, suggerisce che i motori di ricerca devono comprendere le query in modo più chiaro o fornire risposte più appropriate.
Implicazioni per la Ricerca e Sviluppo Futuro
Comprendere il comportamento degli utenti attraverso la nostra tassonomia apre la strada per migliorare l'esperienza di ricerca complessiva. Le intuizioni ottenute possono aiutare:
- Guidare il Design del Sistema: Migliorare le capacità di riconoscimento e risposta ai bisogni degli utenti in tempo reale.
- Personalizzare le Interazioni degli Utenti: Sviluppare sistemi che si adattano alle preferenze individuali degli utenti in base ai loro modelli di query.
- Simulare il Comportamento degli Utenti: Creare modelli realistici delle interazioni degli utenti per prevedere risultati e migliorare le performance della ricerca conversazionale.
Direzioni per Lavori Futuri
Ulteriori ricerche potrebbero esplorare modelli conversazionali più complessi oltre agli scambi a due turni. Dobbiamo catturare archi conversazionali completi e come le informazioni evolvono nel corso di più interazioni. Inoltre, studi che coinvolgono valutazioni di soddisfazione generate dagli utenti potrebbero fornire approfondimenti più approfonditi su quanto bene i motori di ricerca soddisfano i bisogni degli utenti.
Conclusione
L'uso di modelli linguistici di grandi dimensioni e lo sviluppo di una tassonomia per le domande di follow-up possono migliorare significativamente la nostra comprensione del comportamento degli utenti nella ricerca conversazionale. Classificando le interazioni e analizzando la soddisfazione degli utenti, possiamo migliorare la tecnologia per soddisfare meglio le esigenze degli utenti che cercano informazioni. I lavori in corso in quest'area continueranno a plasmare il modo in cui gli utenti interagiscono con i motori di ricerca, portando a sistemi più intuitivi e reattivi.
Titolo: Using LLMs to Investigate Correlations of Conversational Follow-up Queries with User Satisfaction
Estratto: With large language models (LLMs), conversational search engines shift how users retrieve information from the web by enabling natural conversations to express their search intents over multiple turns. Users' natural conversation embodies rich but implicit signals of users' search intents and evaluation of search results to understand user experience with the system. However, it is underexplored how and why users ask follow-up queries to continue conversations with conversational search engines and how the follow-up queries signal users' satisfaction. From qualitative analysis of 250 conversational turns from an in-lab user evaluation of Naver Cue:, a commercial conversational search engine, we propose a taxonomy of 18 users' follow-up query patterns from conversational search, comprising two major axes: (1) users' motivations behind continuing conversations (N = 7) and (2) actions of follow-up queries (N = 11). Compared to the existing literature on query reformulations, we uncovered a new set of motivations and actions behind follow-up queries, including asking for subjective opinions or providing natural language feedback on the engine's responses. To analyze conversational search logs with our taxonomy in a scalable and efficient manner, we built an LLM-powered classifier (73% accuracy). With our classifier, we analyzed 2,061 conversational tuples collected from real-world usage logs of Cue: and examined how the conversation patterns from our taxonomy correlates with satisfaction. Our initial findings suggest some signals of dissatisfactions, such as Clarifying Queries, Excluding Condition, and Substituting Condition with follow-up queries. We envision our approach could contribute to automated evaluation of conversation search experience by providing satisfaction signals and grounds for realistic user simulations.
Autori: Hyunwoo Kim, Yoonseo Choi, Taehyun Yang, Honggu Lee, Chaneon Park, Yongju Lee, Jin Young Kim, Juho Kim
Ultimo aggiornamento: 2024-07-18 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2407.13166
Fonte PDF: https://arxiv.org/pdf/2407.13166
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.