Desafios na Auditoria de Sistemas de Tomada de Decisão Automatizada

Sistemas automatizados que tomam decisões por usuários estão em todo lugar hoje em dia. Com o aumento deles, surgem preocupações sobre como esses sistemas afetam as pessoas e a sociedade. Por isso, precisamos de formas confiáveis para checar se esses sistemas são justos e respeitam leis e regulamentos.

Os auditores, que são as pessoas que checam esses sistemas, enfrentam desafios ao tentar avaliar a Conformidade. Muitas vezes, eles não têm acesso direto aos algoritmos subjacentes, à programação ou aos dados usados para treinar esses sistemas. Essa falta de acesso dificulta fazer avaliações simples.

Recentemente, surgiu uma nova ideia chamada "auditoria à prova de manipulação". Essa abordagem analisa quão bem os auditores conseguem verificar esses sistemas em condições do mundo real, especialmente quando os modelos envolvidos têm alta capacidade, ou seja, conseguem se adaptar a muitos tipos diferentes de dados.

#O Desafio de Auditar Modelos de IA

Quando um sistema usa modelos que podem se adaptar a qualquer dado, qualquer tentativa de auditar o sistema se torna bem difícil. Por exemplo, se um modelo consegue imitar perfeitamente os dados que vê, nenhuma estratégia de auditoria pode ser melhor do que uma amostragem aleatória. Isso significa que, para avaliar métricas de justiça como a paridade demográfica, os auditores podem se ver em uma situação onde seus métodos não trazem resultados melhores do que a sorte.

Para realmente entender quando os métodos de auditoria funcionam bem, precisamos vincular quão manipuláveis as Auditorias são à capacidade dos modelos que estão sendo checados. Quanto mais capacidade um modelo tem, mais complicado fica auditar de forma eficaz.

#A Importância da Conformidade

À medida que sistemas automatizados voltados para o usuário se tornam comuns, eles levantam perguntas significativas sobre seus efeitos na sociedade. A complexidade e o número enorme de plataformas online destacam a necessidade de auditorias que possam avaliar de forma confiável seu impacto nos usuários. Casos notáveis, como auditorias do COMPAS e da ferramenta de recrutamento da Amazon, mostram que a fiscalização nesse campo está ganhando força.

Para garantir a confiança pública em inteligência artificial (IA) e tomada de decisões algorítmicas, métodos que possam explicar as decisões do sistema, certificar seu funcionamento correto e detectar conduta inadequada são essenciais.

#Estrutura de Auditoria

Em auditorias típicas, os auditores interagem com um sistema por meio de uma interface web ou API. Eles precisam verificar propriedades específicas, como se o sistema está livre de viés. Esse tipo de auditoria é conhecido como auditoria remota em caixa-preta, onde o funcionamento interno do modelo permanece oculto para o auditor.

Antes do processo de auditoria começar, a plataforma precisa declarar seu espaço de hipóteses para o auditor. Durante a auditoria, o auditor envia consultas ao sistema e, depois, a plataforma pode mudar seu modelo. No entanto, ela deve manter a saída consistente com interações anteriores durante a auditoria.

#Práticas de Auditoria Atuais

A maioria dos métodos de auditoria atuais foca em detectar violações de regras. Essa forma de auditoria de detecção envolve amostragem aleatória de dados, medindo os fatores de interesse e declarando uma falha se essas medições estiverem fora dos limites aceitáveis. Para provar que uma plataforma agiu de forma errada, é preciso flagrá-la no ato durante a auditoria. Provar que não existem violações exigiria uma consulta exaustiva do espaço de entrada do sistema, o que muitas vezes não é viável.

#Estrutura de Auditoria à Prova de Manipulação

No nosso trabalho, focamos em auditorias externas. Essas auditorias requerem um terceiro para confirmar as alegações feitas pela plataforma sobre justiça ou viés em suas saídas. Uma parte importante desse processo é entender como a plataforma pode tentar manipular os resultados da auditoria para parecer em conformidade.

Antes da auditoria, a plataforma revela sua classe de hipótese, como árvores de decisão, para o auditor. Durante a auditoria, o auditor tenta construir um conjunto de dados de auditoria interagindo com o modelo exposto pela plataforma. O desafio é que a plataforma poderia mostrar um modelo justo durante a auditoria, e depois mudar para uma versão enganosa.

#Capacidades do Auditor e da Plataforma

Nesse contexto, o auditor pode enviar consultas adaptativas para coletar mais informações. Ele sabe o tipo de modelo que a plataforma usa e pode ver os atributos sensíveis em todos os pontos de dados. Por outro lado, a plataforma não só entende as propriedades sendo conferidas pelo auditor, mas também pode escolher o melhor modelo para se adequar a suas saídas após a auditoria.

#O Problema em Questão

Algumas pesquisas indicam que conhecer a classe de hipóteses pode reduzir o número de consultas necessárias para alcançar resultados confiáveis. No entanto, provar que qualquer método de auditoria dado é melhor do que uma abordagem aleatória continua a ser uma questão complexa.

No nosso estudo, nos concentramos em classificadores binários com atributos sensíveis binários. Esse é apenas um ponto de partida; esperamos que pesquisas futuras possam expandir esse trabalho para outros tipos de modelos e tarefas.

#A Necessidade de Transparência

Uma conclusão chave é que os reguladores não devem ter apenas acesso em caixa-preta aos modelos de IA, mas também devem ter insights adicionais sobre o processo de auditoria. Queremos revelar se as plataformas podem projetar modelos que alcancem alta utilidade enquanto também evitem auditorias.

Nossos achados mostram que quando o modelo de uma plataforma pode representar perfeitamente qualquer conjunto de dados, sua manipulação pode tornar a auditoria incrivelmente difícil. Para casos onde o modelo pode se adaptar a qualquer rotulagem de um conjunto de dados, nenhum método de auditoria pode ser mais eficaz do que a amostragem aleatória.

#Insights do Estudo

Para mergulhar mais fundo na auditoria, olhamos para classes específicas de modelos para determinar como seu design se relaciona com a auditabilidade. Para alguns modelos, as probabilidades de manipulação podem ser calculadas diretamente, ajudando a identificar condições onde auditorias tradicionais são ineficazes.

Examinamos a relação entre a complexidade dos modelos e sua capacidade de serem manipulados durante auditorias. Nosso trabalho confirma que modelos maiores e mais complexos são mais difíceis de auditar de forma eficaz.

#O Papel das Métricas de Complexidade

Enquanto analisamos o desempenho de diferentes modelos, focamos em várias medidas típicas de auditoria. Entre essas medidas estão checagens de justiça estatística que incluem paridade demográfica. Essas medidas geralmente não exigem rótulos de verdade absoluta, tornando-as atraentes para os auditores.

Embora nos referimos especificamente à justiça demográfica em nosso estudo, os achados podem, em princípio, se aplicar a vários tipos de medidas de justiça.

#Medindo a Dificuldade da Auditoria

Introduzimos a noção de manipulabilidade sob auditorias aleatórias para expressar quão desafiador é auditar tipos específicos de modelos. Ao fazer uma média dos resultados de auditoria para conjuntos de dados dados, podemos avaliar quão manipuláveis são as saídas do modelo da plataforma.

Essa análise reflete o potencial da plataforma de selecionar modelos que maximizam a dificuldade da auditoria enquanto minimizam a conduta inadequada visível.

#Configuração Experimental

Nossos experimentos avaliaram vários modelos, desde modelos lineares mais simples até árvores de decisão e árvores de gradiente mais complexas. Testamos a relação entre a capacidade dos modelos (sua habilidade de se adaptar a dados) e sua manipulabilidade sob auditorias aleatórias.

Ao observar múltiplos parâmetros dentro desses modelos, buscamos isolar padrões na dificuldade de auditoria à medida que se relaciona com o design do modelo.

#Os Efeitos da Capacidade na Dificuldade da Auditoria

Em nossa exploração de diferentes classes de hipóteses, notamos uma tendência consistente: à medida que a Capacidade do Modelo aumenta, sua manipulabilidade sob auditorias aleatórias também aumenta. Isso sugere que, à medida que os modelos ficam mais complexos, eles também se tornam mais difíceis de auditar de forma eficaz.

Notavelmente, encontramos que modelos de alta capacidade frequentemente geram dificuldades de auditoria que se alinham estreitamente com as auditorias de linha de base realizadas por meio de amostragem aleatória.

#O Custo da Evasão

As plataformas podem ser incentivadas a evitar auditorias sem sofrer grandes perdas em precisão. Isso destaca uma realidade preocupante: a estrutura de incentivos para modelos de IA pode facilmente levar a problemas de conformidade, especialmente quando os modelos podem ser feitos sob medida para evitar a fiscalização.

Nossos achados reiteram que, embora alguns modelos possam ser projetados para fornecer resultados precisos de forma geral, também podem ser manipulados para responder favoravelmente durante auditorias, minando assim seu verdadeiro desempenho.

#A Conexão Entre Capacidade de Modelo e Auditabilidade

Mostramos uma forte conexão entre a complexidade de um modelo e sua auditabilidade. À medida que os modelos aumentam em capacidade, a possibilidade de manipulação cresce, tornando necessário que os auditores sejam vigilantes em suas abordagens.

Modelos complexos muitas vezes levam a cenários onde as auditorias resultam em resultados não melhores do que a amostragem aleatória, sinalizando fraquezas nos métodos tradicionais de auditoria.

#Conclusão

A mudança em direção a uma maior transparência nas auditorias de algoritmos de IA é essencial. À medida que as plataformas utilizam modelos mais complexos, o desafio de garantir a conformidade cresce. Uma mudança para incluir supervisão direta e certificação no processo de auditoria pode aumentar a eficácia dessas avaliações.

Para manter a confiança pública em sistemas de tomada de decisão automatizados, mais trabalho precisa ser feito para desenvolver estruturas de auditoria robustas que acompanhem os avanços na tecnologia de aprendizado de máquina. Ao entender os desafios dentro das práticas atuais de auditoria, podemos nos preparar melhor para o futuro dos sistemas automatizados.