Avaliação de Agentes de IA: Garantindo Confiabilidade e Segurança

Quando dois Agentes discordam das suas decisões, isso gera dúvidas sobre a correção de ambos. Essa ideia é usada para avaliar agentes que realizaram uma tarefa de classificação binária. Ao examinar seus acordos e desacordos em um teste, podemos determinar avaliações de grupo que se encaixam logicamente nas suas Respostas. Isso é feito criando um conjunto de regras que todas as avaliações de respondentes binários devem seguir. Cada grupo de respondentes tem seu próprio conjunto completo de regras.

As regras são usadas para criar um alarme lógico que pode mostrar que pelo menos um membro de um grupo não está funcionando corretamente, mesmo usando apenas dados não rotulados. Esse método é comparado à verificação formal de software, e sua utilidade para tornar sistemas de IA mais seguros é considerada. Recentemente, houve interesse em verificar formalmente sistemas de IA para torná-los mais confiáveis. A maioria das propostas até agora se concentrou em como treinar ou certificar agentes de IA para uma melhor Segurança. Esta discussão analisa a verificação formal de avaliações feitas por agentes, que podem ser humanos ou robóticos, quando não há orientação explícita.

#Avaliando Agentes

Suponha que haja um grupo de agentes designados para uma tarefa. Não importa a complexidade da tarefa, outros agentes podem ser trazidos para avaliar ou supervisioná-los. Esse método está se tornando popular para aumentar a segurança e a confiabilidade de modelos de linguagem grandes (LLMs). Uma técnica chamada supervisão fraca-para-forte foi sugerida para lidar com o desafio de alinhar modelos muito capazes. LLMs que fornecem feedback sobre geradores de código LLM podem ajudar a reduzir erros. Debates entre IA adversarial podem ajudar humanos menos habilidosos ou não especialistas a responder perguntas com mais precisão.

No entanto, essas abordagens podem levar a um loop interminável de supervisão, com supervisores que supervisionam outros supervisores, ou podem ser eles mesmos não confiáveis. Esse problema não é apenas uma preocupação para a IA, mas se relaciona a problemas clássicos em conhecimento e economia, especificamente o problema de monitoramento principal-agente. Um principal é alguém que designa tarefas para agentes, sejam humanos ou robóticos, mas não tem os meios ou tempo para supervisioná-los de perto. Surge a pergunta: como o principal pode garantir que os agentes realizem suas tarefas corretamente e com segurança?

#Formalizando Avaliações

O método apresentado aqui busca tornar avaliações não solicitadas mais confiáveis, ajudando a superar esse desafio em garantir operações seguras da IA. A verificação formal de sistemas de software é bem conhecida e tem aplicações úteis na segurança de estruturas de engenharia complicadas. O foco aqui está em formalizar avaliações onde não há chaves de resposta disponíveis para avaliar o desempenho dos agentes.

Em cenários onde os agentes fazem um teste, não é possível provar que suas avaliações são válidas. No entanto, é possível provar que essas avaliações são logicamente consistentes com como eles responderam durante o teste. Estruturas usadas para verificação formal de software geralmente têm três elementos principais: o modelo do mundo, a especificação de segurança e o verificador. Esses aspectos serão discutidos junto com um conjunto de funções matemáticas completas que representam como os Classificadores concordam ou discordam em um teste, com base em sua correção.

#Modelos de Avaliação

Existem vários modelos de avaliação para um teste de resposta binária. Os modelos discutidos aqui se relacionam aos padrões de decisão observados quando um grupo de agentes responde a um item ou pergunta específica. Vamos explorar os modelos para ensembles triviais, envolvendo um único classificador, e pares de classificadores.

#Avaliação de Classificador Único

Para um único classificador, o conjunto de todas as avaliações possíveis corresponde a um espaço específico definido pelas respostas dadas pelo classificador. Uma vez que sabemos como o teste foi respondido, podemos aplicar um axioma de classificador único para definir um conjunto mais restrito de avaliações que se alinham com as respostas observadas. Dentro desse conjunto está o valor verdadeiro desconhecido para o número de respostas corretas para cada rótulo.

O axioma ajuda a criar uma representação geométrica para as avaliações com base em como o classificador se saiu. Ele especifica que o classificador está funcionando corretamente quando sua resposta se encontra dentro de certas áreas desse espaço, e incorretamente quando cai fora dessas áreas.

#Avaliação de Classificador em Par

Quando olhamos para dois classificadores binários, existem quatro padrões de decisão possíveis para avaliar suas respostas. As contagens para cada padrão podem ser descritas em relação à corretude individual e colaborativa no teste. À medida que analisamos esse novo conjunto de avaliações para um par de classificadores, notamos que ele inclui as regras para um único classificador juntamente com uma regra adicional especificamente para classificações em par.

Isso implica que observar um par de classificadores produzirá novas relações entre seus desempenhos estatísticos. Cada classificador ainda segue o axioma original do classificador único, que lida apenas com um agente por vez.

#Criando Alarmes Lógicos

Os axiomas das seções anteriores podem servir como verificadores para as avaliações de grupo. Dadas as respostas observadas, podemos perguntar sobre as avaliações que atendem a esses critérios. Qualquer algoritmo que retorne avaliações inconsistentes com os axiomas pode ser rejeitado com confiança.

Essa capacidade de demonstrar que uma avaliação de grupo se alinha logicamente com os dados de resposta do teste forma a base para nosso alarme lógico para classificadores desalinhados. A especificação de segurança esperada é que todos os classificadores devem pontuar melhor que 50% em cada rótulo. Basicamente, o alarme funciona garantindo que todos os classificadores em um grupo cumpram o axioma do classificador único.

Mesmo sem saber as respostas corretas exatas, ainda podemos avaliar logicamente. O axioma define uma relação de dependência entre as respostas, e podemos verificar se alguma avaliação quebra a diretriz de segurança.

#Testando Contra Especificações de Segurança

Em uma situação totalmente não supervisionada, o valor real da avaliação é desconhecido, mas deve estar dentro de um certo intervalo. Podemos examinar se o grupo viola a especificação de segurança em todos os valores assumidos. Se cada valor assumido resultar em falha, isso indica que um ou mais classificadores estão desalinhados.

Em cada valor assumido, comparamos pares de classificadores determinando seus resultados avaliativos em espaços distintos para cada rótulo. As interseções desses espaços refletem as possíveis avaliações do grupo para cada par. Esse processo ajuda a visualizar quais avaliações satisfazem os padrões de segurança e quais não.

#A Importância do Contexto

É crucial estabelecer quanto desacordo entre classificadores deve acionar o alarme no contexto de aplicação. O método de avaliar classificadores não pode fornecer o contexto completo para seu uso. Portanto, determinar o tamanho do teste e o limiar para desacordo deve ser feito com base na situação específica.

A especificação de segurança que discutimos serve como um exemplo e pode ser modificada para torná-la mais desafiadora ou relaxada com base na situação.

#Detectando Entradas Falsificadas

As relações algébricas derivadas dos modelos de avaliação também poderiam ajudar a identificar resumos de teste falsificados. Violar essas relações sinalizaria um problema. Isso se mostra útil para monitorar a integridade do processo de avaliação.

O método utilizado aqui para coletar respostas permite verificar avaliações inválidas. Caso um padrão seja detectado que não se alinha com os resultados esperados, isso pode indicar que manipulação ocorreu dentro da estrutura de avaliação.

#Limitações e Considerações Finais

Embora esse método ofereça muitos benefícios potenciais, ele também tem limitações. Não pode interpretar totalmente as medições derivadas dele. Para isso, um modelo do mundo é necessário para fornecer o contexto necessário. A abordagem discutida aqui serve principalmente para avaliar respostas binárias e não pretende prever valores futuros ou passados dessas estatísticas.

Tanto termômetros quanto detectores de fumaça operam em sistemas de segurança, identificando problemas sem diagnosticar as causas raízes. Da mesma forma, a lógica para avaliar avaliações não supervisionadas funciona como um componente dentro de uma estrutura de segurança mais ampla para agentes barulhentos.

#Conclusão

É importante que os usuários de qualquer metodologia de medição sejam cautelosos quanto à dependência excessiva dela. O potencial para uso indevido existe em discussões sobre segurança em IA. Há uma chance de que confiar demais na formalização possa enganar os usuários, fazendo-os pensar que tudo funciona perfeitamente. O alarme lógico pode detectar desalinhamentos, mas não garante que todos os componentes estejam funcionalmente saudáveis.

Essa metodologia representa uma clara vantagem para usar múltiplos agentes realizando tarefas difíceis. A discordância entre os agentes permite a autoavaliação, já que suas decisões podem ser usadas para avaliar sua confiabilidade. Em cenários onde um agente forte existe ao lado de um grupo de agentes mais fracos, estes últimos podem supervisionar o desempenho do agente mais forte usando esse método de avaliação.

Finalmente, discussões sobre super-alinhamento destacam preocupações sobre supervisionar agentes que são mais inteligentes que humanos. Se fosse impossível estabelecer controle sobre tais sistemas, seria uma primeira vez na tecnologia. Os métodos apresentados aqui podem levar à criação de sistemas que podem ser avaliados mesmo no contexto de testes binários complexos.

A lição importante é que ferramentas, como os termômetros para motores, podem ajudar a garantir a segurança sem depender simplisticamente da noção de que todos os sistemas estão isentos de falhas. Portanto, criar uma estrutura confiável para avaliação em ambientes incertos continua sendo crucial.