Avaliando Terapeutas de Modelos de Linguagem Através de Simulações de Clientes

Há um interesse crescente em usar modelos de linguagem, conhecidos como LLMs, como terapeutas. No entanto, estudar quão eficazes esses modelos são, especialmente do ponto de vista dos clientes, ainda não foi bem explorado. Este artigo apresenta uma forma de avaliar terapeutas LLM simulando as experiências dos clientes.

#A Necessidade de uma Avaliação Focada no Cliente

Embora mais pessoas acreditem que LLMs podem oferecer terapia, muito da pesquisa tem se concentrado em como os terapeutas, ou modelos, se saem. Raramente as avaliações consideram como os clientes se sentem sobre suas interações com esses modelos. As abordagens tradicionais na educação médica envolvem atores humanos que desempenham papéis de clientes para ajudar a avaliar terapeutas. No entanto, esse método não é fácil de escalar para LLMs.

Existem duas questões principais ao usar pessoas reais como clientes simulados: preocupações éticas e desafios técnicos. Eticamente, pedir para indivíduos desempenharem continuamente o papel de clientes pode ser desconfortável, especialmente se os LLMs produzirem respostas prejudiciais. Tecnicamente, é difícil garantir que diferentes LLMs possam ser comparados de forma igual ao interagir com o mesmo cliente simulado.

Para enfrentar esses desafios, propomos um método chamado ClientCAST. Essa abordagem utiliza LLMs para simular clientes, permitindo uma avaliação mais centrada no cliente dos terapeutas LLM.

#Como Funciona o ClientCAST

O ClientCAST envolve criar um LLM que simula um cliente, dando a ele um perfil psicológico específico. Esse cliente simulado interage com um terapeuta LLM e responde questionários sobre sua experiência. A avaliação foca em três áreas principais: resultado da sessão, Aliança Terapêutica e sentimentos do cliente.

Conduzimos experimentos para testar a confiabilidade do ClientCAST usando vários LLMs, incluindo Claude-3, GPT-3.5, LLaMA3-70B e Mixtral 87B. Esses modelos são usados para simular clientes em cenários de terapia e avaliar quão bem se saem.

#Histórico sobre Chatbots na Terapia

A ideia de usar chatbots na terapia começou com o ELIZA, um programa simples que oferecia suporte emocional. Desde então, tem sido sugerido que chatbots podem fornecer um suporte mais amplo para saúde mental. Avanços recentes em LLMs fortaleceram essa ideia. Muitos usuários relataram que terapeutas LLM os ajudaram, mas também há preocupações sobre riscos potenciais.

Vários estudos investigaram quão eficazes os LLMs são como terapeutas, mas muitos se concentraram no lado dos terapeutas. Nossa pesquisa se concentra em como os clientes percebem essas interações.

#Simulação de Clientes na Terapia

Na formação médica tradicional, atores são contratados e treinados para desempenhar papéis de clientes. Essa abordagem permite que terapeutas em formação pratiquem e melhorem suas habilidades. No entanto, usar atores humanos para LLMs apresenta problemas financeiros e éticos. Além disso, os comportamentos humanos podem variar, tornando a consistência na avaliação de LLMs difícil.

O ClientCAST resolve esses problemas usando LLMs para simular clientes. Isso elimina o desconforto e o risco associados a pessoas reais interpretando papéis de clientes. Ao dar ao LLM um perfil psicológico, podemos criar um cliente simulado consistente que interage com o terapeuta.

Após cada interação, o cliente simulado preenche questionários relacionados à sua experiência, focando em quão bem a sessão de terapia ocorreu e como se sentiu durante ela.

#Experimentando com o ClientCAST

Para validar o ClientCAST, testamos com dois conjuntos de dados de aconselhamento terapêutico existentes: High-Low Quality Counseling e AnnoMI. Nossas descobertas mostraram que os clientes simulados geralmente se saíram bem, seguindo de perto os perfis psicológicos fornecidos. Modelos mais avançados tendiam a gerar simulações melhores, permitindo uma distinção clara entre sessões de aconselhamento de alta e baixa qualidade.

#Três Áreas Chave de Avaliação

A avaliação realizada através do ClientCAST foca em três áreas:

1. Resultado da Sessão: Mede quão bem a sessão de terapia atendeu aos objetivos do cliente. O cliente fornece feedback sobre quão eficaz achou a sessão.

2. Aliança Terapêutica: Avalia a conexão entre o terapeuta e o cliente. Analisa o nível de confiança e concordância sobre os objetivos do tratamento.

3. Sentimentos Relatados pelo Cliente: O cliente descreve suas emoções imediatas após a sessão. Os sentimentos são categorizados em dimensões como profundidade, positividade, suavidade e excitação.

#Confiabilidade do ClientCAST

Examinamos quão consistentemente os clientes simulados se comportam em sessões de terapia. Os resultados indicaram que os clientes simulados em grande parte aderiram aos seus perfis psicológicos. Modelos mais fortes produziram simulações mais precisas. Além disso, encontramos que nossos questionários centrados no cliente podem diferenciar efetivamente entre sessões de aconselhamento de alta e baixa qualidade.

#Contribuições da Nossa Pesquisa

Nossa pesquisa apresenta várias contribuições importantes:

1. Propomos um novo método para avaliar terapeutas LLM do ponto de vista do cliente através do ClientCAST.

2. Experimentos mostram que os clientes simulados estão geralmente alinhados com seus perfis psicológicos e podem distinguir efetivamente entre a qualidade das sessões de terapia.

3. O ClientCAST nos permite avaliar o desempenho de diferentes terapeutas LLM.

#Trabalhos Anteriores sobre Terapeutas LLM

Estudos anteriores se concentraram principalmente em avaliar terapeutas LLM com base em seus comportamentos. Alguns estudos compararam LLMs com terapeutas humanos em termos de empatia e habilidades terapêuticas. Outros usaram LLMs para analisar a qualidade das sessões de terapia. No entanto, muitas dessas avaliações não consideraram as perspectivas dos clientes, deixando uma lacuna na pesquisa.

#Clientes Simulados na Formação Clínica

Na formação clínica, atores desempenham pacientes padronizados para ajudar a avaliar profissionais de saúde. No entanto, contratar e treinar atores pode ser caro. Usar LLMs para simular clientes ajuda a contornar esses desafios financeiros e éticos, permitindo avaliações consistentes e escaláveis.

#Insights Obtidos com Conjuntos de Dados

Nosso trabalho utilizou dois conjuntos de dados de terapia compostos por transcrições de aconselhamento de recursos publicamente disponíveis. Cada transcrição foi avaliada para determinar se refletia uma sessão de alta ou baixa qualidade com base em princípios terapêuticos estabelecidos. Garantimos que todos os conjuntos de dados fossem usados em conformidade com os acordos de licenciamento.

#Usando LLMs para Simulação de Clientes

Empregamos LLMs avançados para simular clientes durante nossas avaliações. Os modelos em que nos concentramos incluem Claude-3, GPT-3.5, LLaMA3-70B e Mixtral 87B. Cada modelo tem diferentes pontos fortes e fracos, impactando a qualidade da simulação do cliente.

#Simulando o Perfil Psicológico de um Cliente

O perfil psicológico usado para simulação inclui informações sobre os problemas do cliente, razões para buscar ajuda e sintomas apresentados. Consideramos várias características, como traços de personalidade, flutuações emocionais e disposição para expressar emoções. Esse perfil guia o comportamento do cliente simulado durante a interação com o terapeuta LLM.

#Preenchendo Questionários

Após cada sessão, o cliente simulado preenche questionários que focam em sua experiência e sentimentos. Isso permite uma avaliação aprofundada da sessão de terapia, medindo diferentes dimensões da experiência do cliente.

#Analisando o Desempenho do Cliente

Através de nossos experimentos, examinamos quão bem os clientes simulados se saíram em sessões de terapia. Analisamos sua consistência com os perfis psicológicos fornecidos, focando particularmente em quão precisamente exibiram seus traços e sintomas designados.

#Comparando Sessões

Para avaliar a eficácia das simulações, comparamos as interações entre os clientes simulados e os terapeutas LLM. Essa comparação focou tanto no conteúdo das sessões quanto nos comportamentos observados de clientes e terapeutas. Ao analisar essas interações, obtemos insights sobre quão bem os LLMs podem funcionar como terapeutas.

#Avaliando Terapeutas LLM

Para avaliar terapeutas LLM, usamos as avaliações dos clientes simulados. Isso forneceu uma maneira sistemática de determinar quão eficazes esses modelos são em fornecer suporte terapêutico. Os resultados mostraram que os terapeutas LLM podem desenvolver conexões fortes com os clientes, alcançando resultados similares aos de terapeutas humanos em algumas áreas.

#Entendendo Limitações

Embora nossas descobertas sejam promissoras, reconhecemos as limitações dos LLMs. Clientes simulados nem sempre replicam perfeitamente o comportamento humano. As variações observadas em diferentes LLMs podem levar a inconsistências nas respostas dos clientes simulados.

#Considerações Éticas

Nesta pesquisa, não sugerimos substituir terapeutas humanos por LLMs. Em vez disso, nosso foco está em avaliar as capacidades dos LLMs para informar melhor pesquisas futuras. Ao destacar as diferenças entre LLMs e terapeutas humanos, buscamos fomentar mais discussões sobre o papel da IA na terapia.

#Conclusão

A abordagem ClientCAST abre novas avenidas para avaliar terapeutas LLM, minimizando as preocupações éticas relacionadas à participação humana. Nosso trabalho enfatiza a importância de explorar como os clientes percebem suas interações com LLMs. Embora ainda existam desafios, esse método oferece um framework para entender o potencial dos LLMs em fornecer suporte terapêutico. Pesquisas continuadas são necessárias para refinar a simulação de experiências de clientes e aumentar a eficácia dos LLMs em papéis terapêuticos.