Melhorando a Gestão de Incidentes com Agentes LLM

Sistemas de software baseados em nuvem ficaram cada vez mais complexos ao longo dos anos. Essa complexidade tornou a gestão de incidentes, que é como lidamos com problemas que surgem durante o uso do software, uma parte chave do desenvolvimento desses sistemas. Uma parte importante da gestão de incidentes é a Análise de Causa Raiz (ACR). ACR é o processo de descobrir o que causou um problema para que ele possa ser corrigido. Essa tarefa pode ser difícil para os engenheiros de plantão, que precisam ter um conhecimento profundo dos serviços específicos das suas equipes. Automatizar a ACR poderia economizar muito tempo e aliviar a carga desses engenheiros. Recentemente, pesquisas exploraram o uso de Modelos de Linguagem Grande (MLGs) para ajudar na ACR, mostrando alguns resultados encorajadores.

No entanto, essas tentativas não conseguiram coletar informações extras necessárias para um diagnóstico preciso, como logs ou métricas relacionadas a incidentes. Essa limitação pode prejudicar a eficácia na identificação da causa exata dos problemas. Este artigo investiga agentes baseados em MLG projetados para ACR para resolver essa questão. Avaliamos um agente equipado com ferramentas de recuperação usando dados do mundo real de uma grande corporação de TI.

#A Necessidade de Gestão de Incidentes

À medida que as empresas transferem seu software para serviços em nuvem, elas enfrentam muitos desafios. Os serviços em nuvem combinam poder computacional e armazenamento de novas maneiras, tornando os sistemas mais complexos e propensos a incidentes. Quando os incidentes ocorrem, pode ser caro para as empresas, tornando essencial resolver esses problemas rapidamente.

Os engenheiros de plantão desempenham um papel crucial na gestão de incidentes. Eles precisam ter um entendimento profundo dos seus serviços e experiências anteriores para lidar com os incidentes de forma eficaz. Mesmo engenheiros experientes podem achar a ACR uma tarefa que consome muito tempo. Dado que os sistemas de software estão crescendo em complexidade, as demandas sobre esses engenheiros provavelmente vão aumentar. A automação e as ferramentas no campo da AIOps (Inteligência Artificial para Operações de TI) visam facilitar a gestão de incidentes. Mas muitas partes da gestão de incidentes ainda dependem principalmente do esforço humano, principalmente a ACR.

#O que é Análise de Causa Raiz?

ACR é um aspecto vital para resolver incidentes. Quando um incidente acontece, os engenheiros precisam identificar a causa raiz antes de corrigi-lo. Esse processo consome tempo e exige habilidades. Um engenheiro novo pode levar anos para aprender a realizar a ACR de forma eficaz. Consequentemente, automatizar esse processo se tornou um objetivo para muitos pesquisadores e praticantes.

Houve várias tentativas de automatizar a ACR. Isso inclui analisar incidentes históricos para encontrar padrões ou usar aprendizado de máquina para identificar causas comuns. No entanto, o processo de ACR exige muito conhecimento especializado e experiência. A maioria das tentativas de automação não conseguiu coletar informações adicionais do ambiente, que são cruciais para uma análise completa.

#O Papel dos Modelos de Linguagem Grande

Nos últimos anos, os MLGs surgiram como uma ferramenta promissora para a ACR. Eles podem processar diversas formas de dados, como texto e logs, e demonstraram a capacidade de entender e responder em linguagem natural. Alguns estudos propuseram o uso de MLGs ajustados para ACR, demonstrando que eles podem identificar causas raízes mesmo com informações limitadas. No entanto, as soluções existentes normalmente dependem de scripts ou estruturas pré-definidos que não permitem que os MLGs interajam dinamicamente com o ambiente externo. Essa falta de recuperação de dados em tempo real de fontes diagnósticas limita sua eficácia na ACR.

#Agentes Baseados em MLG para ACR

Este artigo propõe o uso de agentes baseados em MLG projetados para raciocinar, planejar e interagir com o ambiente externo, permitindo assim que eles coletem novas informações para a ACR. Apesar de suas imensas capacidades, adaptar MLGs para ACR apresenta vários desafios. Os dados envolvidos em incidentes na nuvem são frequentemente confidenciais e podem não se alinhar bem com as informações às quais os MLGs têm acesso. Utilizar exemplos em contexto é uma forma de ajudá-los a se adaptar sem a necessidade de re-treinamento extensivo.

A ACR é uma tarefa única porque requer não apenas a análise de sintomas relatados em incidentes, mas também a coleta de informações diagnósticas adicionais de diversas fontes. Engenheiros experientes sabem que tipo de informação coletar e como fazer as perguntas certas para obtê-la. No entanto, os MLGs carecem desse conhecimento especializado em domínios típicos. Este artigo apresenta avaliações empíricas de um agente baseado em MLG para ACR para determinar sua eficácia em cenários do mundo real.

#Estudo de Caso: Avaliação de Agentes Baseados em MLG

Este estudo avaliou um agente baseado em MLG para ACR em várias configurações. As principais perguntas focaram em saber se o agente poderia ser eficaz sem ajustes e quão prático ele seria em situações do mundo real.

A avaliação inicial envolveu avaliar o agente em um conjunto de dados de incidentes reais de produção. O conjunto de dados incluiu exemplos de incidentes de serviços em nuvem e os respectivos resultados da ACR. O desempenho do agente foi comparado a modelos estabelecidos que não têm a capacidade de coletar informações adicionais dinamicamente. O objetivo era identificar quão bem o agente poderia realizar a ACR em um ambiente onde ele tinha acesso apenas a ferramentas diagnósticas gerais.

#Resultados da Avaliação

A avaliação revelou que o agente baseado em MLG teve desempenho competitivo em comparação com modelos existentes fortes. Com a base certa de recuperação e raciocínio, o agente mostrou um alto nível de precisão factual. No entanto, quando discussões de incidentes históricos foram usadas para melhorar a entrada do agente, o desempenho não apresentou melhorias significativas.

Para investigar mais as capacidades do agente, um estudo de caso foi realizado com uma equipe específica. O estudo visava equipar o agente com ferramentas que garantissem acesso a serviços de diagnóstico cruciais para a ACR. As observações mostraram que o agente conseguiu realizar tarefas de ACR de forma mais eficaz quando teve acesso a recursos diagnósticos especializados.

#A Importância das Ferramentas Diagnósticas

Em configurações do mundo real, muitas vezes, os incidentes ocorrem de forma não simples. Os engenheiros costumam confiar em artigos de base de conhecimento (ABKs) que contêm diretrizes sobre como diagnosticar e resolver vários tipos de incidentes. Esses artigos ajudam a padronizar procedimentos e compartilhar conhecimento entre as equipes. Quando um incidente está vinculado a um ABK, os engenheiros podem começar sua ACR de forma mais eficiente.

No nosso estudo de caso, os ABKs foram essenciais para o desempenho do agente de MLG. O agente precisava de acesso a esses recursos para executar consultas ao banco de dados e analisar corretamente os dados resultantes. A capacidade de consultar dinamicamente informações relevantes do banco de dados foi vital para seu sucesso nas tarefas de ACR.

#Desafios Enfrentados na Implementação

Apesar do sucesso inicial, desafios surgiram ao lidar com incidentes complexos. Em alguns casos, o agente não conseguiu realizar todas as etapas necessárias devido à complexidade dos dados envolvidos, exigindo intervenção humana. Essa interação mostrou que, embora a automação da ACR através de agentes de MLG seja promissora, a supervisão humana é necessária para guiar o processo de forma eficaz.

O processo de consulta a bancos de dados e recuperação de informações diagnósticas muitas vezes não é simples. O agente precisava ser treinado nos formatos de consulta específicos para cada equipe, o que apresentou um desafio adicional. À medida que se adaptava a novas informações e refinava sua abordagem, conseguia melhorar suas capacidades de ACR, mas ainda havia limitações.

#Explorando Considerações Práticas

A partir dos achados, algumas considerações práticas para implementar agentes baseados em MLG na ACR do mundo real podem ser identificadas. Primeiramente, os ABKs são críticos para possibilitar uma ACR bem-sucedida. Tanto os agentes quanto os engenheiros precisam acessar esses recursos em tempo real para tomar decisões informadas.

Em segundo lugar, utilizar ferramentas de forma eficaz requer superar os desafios associados à consulta a serviços diagnósticos complexos. Embora os MLGs tenham demonstrado habilidades notáveis em tarefas de linguagem natural, consultar sistemas especializados pode ser complicado e pode exigir ajustes com base em experiências passadas.

Além disso, para fluxos de trabalho mais complexos, incorporar uma estrutura de múltiplas tentativas pode ser benéfico. Isso permitiria que o agente aprendesse com tentativas anteriores e melhorasse seu desempenho ao longo do tempo. Tal estrutura pode refinar o processo de ACR ao construir um repositório de experiências passadas para uso futuro.

Por último, a intervenção humana é crucial para manter uma supervisão e gestão eficazes dos agentes de MLG durante as tarefas de ACR. Ao permitir que engenheiros interajam com o agente, eles podem fornecer orientação quando necessário e ajudar a construir confiança no sistema automatizado.

#Conclusão

Este trabalho mostrou o potencial dos agentes baseados em MLG em realizar Análise de Causa Raiz para a gestão de incidentes em nuvem. O agente demonstrou desempenho competitivo em comparação com bases estabelecidas, enfatizando sua capacidade de completar tarefas de ACR com menores taxas de imprecisão. No entanto, seu desempenho poderia se beneficiar do acesso a ferramentas e recursos especializados, como ABKs.

Embora automatizar a ACR com agentes de MLG seja um passo significativo, ainda é essencial manter a supervisão humana para garantir resultados bem-sucedidos. Trabalhos futuros devem se concentrar no desenvolvimento de ambientes simulados para ACR, permitindo avanços rápidos na eficiência e eficácia do processo. À medida que esse campo evolui, os agentes de MLG podem desempenhar um papel vital na melhoria das práticas de gestão de incidentes e processos de tomada de decisão dentro da engenharia de software.