Simple Science

Scienza all'avanguardia spiegata semplicemente

# Informatica# Calcolo e linguaggio# Intelligenza artificiale

Migliorare il Servizio Clienti con i Modelli Linguistici

Scopri come i modelli linguistici migliorano l'efficienza del servizio clienti e riducono i costi.

― 8 leggere min


Modelli linguistici nelModelli linguistici nelservizio clientiusando modelli linguistici.Aumenta l'efficienza e risparmia costi
Indice

Il servizio clienti è fondamentale per molte aziende e spesso cercano modi per migliorare questo servizio risparmiando. Un metodo è usare modelli linguistici. Questi modelli possono aiutare gli agenti suggerendo risposte alle domande dei clienti. Questo aiuta gli agenti a lavorare più velocemente ed efficientemente, il che è cruciale visto che assumere agenti può costare.

I modelli linguistici possono generare automaticamente risposte per gli agenti, rendendo più facile rispondere ai clienti. Tuttavia, mentre questi modelli possono essere utili, comportano anche costi elevati legati alla loro formazione e utilizzo. Questo articolo esplora come le aziende possano valutare l'efficacia economica di questi modelli e il loro impatto sul servizio clienti.

Il Ruolo degli Agenti Umani nel Servizio Clienti

Anche con i progressi della tecnologia, gli agenti umani rimangono importanti per fornire servizio clienti. Molte conversazioni possono essere automatizzate, ma alcune situazioni richiedono un tocco umano. Gli agenti devono gestire più conversazioni e spesso hanno bisogno di accesso agli account dei clienti e alle politiche del marchio.

A causa del costo di assunzione degli agenti, le aziende cercano soluzioni efficienti per ridurre i costi mantenendo la qualità del servizio. Una soluzione prevede l'uso di sistemi che suggeriscono risposte per gli agenti da utilizzare durante le interazioni con i clienti.

Panoramica di Conversation Assist

LivePerson ha sviluppato uno strumento chiamato Conversation Assist, che aiuta gli agenti suggerendo risposte basate su interazioni precedenti con i clienti. Questo strumento accelera il processo di risposta e consente agli agenti di concentrarsi su richieste più complesse.

Utilizzando Conversation Assist, le aziende possono aspettarsi tempi di risposta ridotti e una qualità delle risposte migliorata. Un modello ben progettato può fornire suggerimenti coerenti e ben strutturati, superando anche agenti meno esperti. Questo può portare a risparmi significativi e a una maggiore soddisfazione del cliente.

I Costi e i Benefici dei Modelli Linguistici di Grandi Dimensioni (LLM)

I Modelli Linguistici di Grandi Dimensioni (LLM) mostrano un grande potenziale per le applicazioni nel servizio clienti. Possono generare risposte di alta qualità, ma formare e gestire questi modelli può essere costoso. Ad esempio, usare un modello specifico può costare di più rispetto ad altri, influenzando la spesa complessiva per un'azienda.

Inoltre, il panorama finanziario attorno agli LLM è in continua evoluzione. Diverse aziende possono avere accordi unici che differiscono dai prezzi standard. Man mano che la tecnologia evolve, anche i costi associati alla formazione e all'utilizzo degli LLM cambieranno.

Per aiutare le aziende a determinare se utilizzare un LLM vale la pena, viene proposto un framework chiamato Expected Net Cost Savings (ENCS). Questo framework considera il risparmio finanziario di un agente che utilizza la risposta di un modello meno il costo di generare quella risposta. Questo approccio può essere applicato su base messaggio per messaggio o in aggregato.

Lo Studio di Caso

Per applicare e testare il framework ENCS, è stato condotto uno studio di caso con un marchio. L'obiettivo era utilizzare vari metodi per personalizzare gli LLM e vedere come influissero sui costi e sull'efficienza degli agenti. Sono stati raccolti feedback da agenti del servizio clienti per valutare tre strategie: fine-tuning, prompt engineering e knowledge distillation.

Lo studio di caso ha rivelato che l'utilità di una risposta può superare significativamente le differenze nei costi di generazione di queste risposte. Questa scoperta può essere applicata ampiamente ad altre aziende.

Automazione e Interazione Umana

Man mano che le aziende implementano più soluzioni automatizzate nel servizio clienti, gli agenti umani continueranno a svolgere un ruolo chiave. Mentre i sistemi automatizzati possono gestire compiti semplici e domande generali, potrebbero non affrontare sempre in modo adeguato preoccupazioni complesse dei clienti. Gli agenti umani possono fornire il supporto necessario quando i sistemi automatizzati non riescono.

L'obiettivo per la maggior parte delle organizzazioni è trovare un equilibrio tra automazione e intervento umano. Sfruttando strumenti come Conversation Assist, le aziende rendono possibile per gli agenti rispondere rapidamente pur garantendo che le richieste dei clienti vengano risolte efficacemente.

Metodi di Personalizzazione dei Modelli Linguistici

Lo studio di caso si è concentrato su tre metodi per adattare gli LLM per il marchio in questione:

Fine-tuning

Il fine-tuning comporta l'addestramento di un modello esistente su un dataset specifico per il marchio. Questo aiuta il modello a comprendere il linguaggio e il contesto unici di quel marchio, risultando in risposte migliori e più personalizzate.

Prompt Engineering

Il prompt engineering crea istruzioni o esempi specifici per il modello da seguire quando genera risposte. Questo metodo può guidare il modello a produrre suggerimenti più pertinenti e accurati, riducendo la necessità di un addestramento esteso.

Knowledge Distillation

La knowledge distillation semplifica modelli più grandi in versioni più piccole e efficienti. Questo può aiutare a ridurre il costo di esecuzione del modello mantenendo un livello di prestazioni che sia comunque utile per il supporto agli agenti.

Valutazione dell'Usabilità delle Risposte

Per valutare l'efficacia dei suggerimenti del modello, sono stati chiesti a veri agenti del servizio clienti di valutare l'usabilità delle risposte generate da diversi modelli. Hanno indicato se avrebbero usato, modificato o ignorato le risposte generate in base alle loro esperienze.

Questa valutazione ha portato a intuizioni preziose riguardo ai quali modelli funzionassero meglio nella pratica. Concentrandosi sull'usabilità, le aziende possono assicurarsi che la tecnologia che implementano soddisfi le esigenze dei loro agenti e clienti.

Analisi delle Metriche di Prestazione

Una varietà di metriche è stata utilizzata per valutare la qualità delle risposte generate dai modelli. Queste includevano tipicamente fattori come senso logico, specificità e utilità. Queste misure fornivano una panoramica di quanto bene ciascun modello performasse in base al feedback degli agenti.

Risposte di qualità superiore, come indicato da queste metriche, hanno portato a tassi di utilizzo più elevati da parte degli agenti. Questa relazione sottolinea l'importanza di non concentrarsi solo sul costo di generazione delle risposte, ma anche di considerare il reale valore e utilità che queste risposte portano alle interazioni con i clienti.

Expected Net Cost Savings (ENCS)

Il framework ENCS incorpora più fattori, inclusi prestazioni del modello, costo dell'agente e costi associati alla generazione delle risposte. Questo approccio consente di avere un quadro più chiaro dei potenziali risparmi e aiuta a prendere decisioni informate su quali modelli implementare.

Calcolando quanto tempo un agente risparmia quando utilizza la risposta di un modello, le organizzazioni possono vedere più chiaramente i benefici finanziari. Il framework può anche considerare le variazioni tra i diversi marchi e le loro esigenze specifiche, rendendolo flessibile per varie applicazioni.

Il Futuro degli LLM nel Servizio Clienti

Lo studio di caso suggerisce che gli LLM hanno un potenziale significativo nel migliorare il servizio clienti mentre forniscono risparmi sui costi. Tuttavia, il panorama sta cambiando rapidamente. Man mano che nuovi modelli vengono sviluppati e i costi fluttuano, le aziende devono rimanere adattabili e pronte a riesaminare regolarmente le loro strategie.

Sia le soluzioni interne che quelle di terze parti hanno i loro pro e contro. Per i marchi più piccoli, l'investimento in modelli interni potrebbe non essere fattibile rispetto alla flessibilità che offrono i servizi di terze parti. Tuttavia, per le imprese più grandi, la possibilità di controllare dati e qualità del servizio potrebbe giustificare i costi iniziali.

Considerazioni Etiche

Sebbene la tecnologia possa migliorare il servizio clienti, è importante considerare le implicazioni etiche dell'uso di tali strumenti. Assicurare che i dati dei clienti rimangano privati è cruciale e le aziende devono essere trasparenti su come utilizzano questi modelli.

Inoltre, mentre l'intento è migliorare l'efficienza e la qualità del servizio, c'è il potenziale che l'automazione possa portare a riduzioni della forza lavoro. Questo impatto sugli agenti umani deve essere riconosciuto e affrontato per mantenere un approccio equilibrato.

Limitazioni e Assunzioni

Lo studio ha alcune limitazioni, inclusa la dimensione del campione di agenti e le potenziali distorsioni nei loro feedback. Il comportamento degli agenti in valutazioni controllate può differire da scenari reali, il che potrebbe influenzare quanto spesso utilizzano risposte generate dal modello.

Altri fattori, come la complessità delle richieste dei clienti o la formazione degli agenti, potrebbero influenzare l'efficacia complessiva dell'uso dei modelli linguistici. Studi futuri dovrebbero approfondire ulteriormente queste aree per creare una comprensione più completa dell'utilità degli LLM nei contesti di servizio clienti.

Conclusione

L'integrazione dei modelli linguistici di grandi dimensioni nel servizio clienti può portare a una maggiore efficienza e a risparmi significativi. Utilizzando tecniche come fine-tuning, prompt engineering e knowledge distillation, le aziende possono adattare queste tecnologie alle loro esigenze specifiche.

Il framework dei risparmi netti attesi fornisce un quadro prezioso per valutare l'impatto finanziario dell'implementazione degli LLM nel servizio clienti. Le aziende devono rimanere consapevoli del panorama in evoluzione e delle considerazioni etiche mentre sfruttano questi progressi per migliorare la qualità del servizio.

Andando avanti, le organizzazioni dovrebbero dare priorità all'usabilità e all'efficacia quando selezionano i modelli linguistici, assicurandosi che la tecnologia sia allineata con le esigenze di agenti e clienti. In questo modo, possono massimizzare i benefici dell'automazione senza compromettere il tocco umano essenziale per un servizio clienti eccezionale.

Fonte originale

Titolo: The economic trade-offs of large language models: A case study

Estratto: Contacting customer service via chat is a common practice. Because employing customer service agents is expensive, many companies are turning to NLP that assists human agents by auto-generating responses that can be used directly or with modifications. Large Language Models (LLMs) are a natural fit for this use case; however, their efficacy must be balanced with the cost of training and serving them. This paper assesses the practical cost and impact of LLMs for the enterprise as a function of the usefulness of the responses that they generate. We present a cost framework for evaluating an NLP model's utility for this use case and apply it to a single brand as a case study in the context of an existing agent assistance product. We compare three strategies for specializing an LLM - prompt engineering, fine-tuning, and knowledge distillation - using feedback from the brand's customer service agents. We find that the usability of a model's responses can make up for a large difference in inference cost for our case study brand, and we extrapolate our findings to the broader enterprise space.

Autori: Kristen Howell, Gwen Christian, Pavel Fomitchov, Gitit Kehat, Julianne Marzulla, Leanne Rolston, Jadin Tredup, Ilana Zimmerman, Ethan Selfridge, Joseph Bradley

Ultimo aggiornamento: 2023-06-08 00:00:00

Lingua: English

URL di origine: https://arxiv.org/abs/2306.07402

Fonte PDF: https://arxiv.org/pdf/2306.07402

Licenza: https://creativecommons.org/licenses/by-sa/4.0/

Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.

Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.

Articoli simili