Construindo Confiança em Sistemas de IA: A Abordagem MAST

Projetar sistemas que usam inteligência artificial (IA) de um jeito que as pessoas possam confiar é complicado. Tem várias pesquisas sobre Confiança, mas poucas etapas práticas que ajudam as pessoas a criar e avaliar esses sistemas de IA. Pra preencher essa lacuna, a gente desenvolveu uma ferramenta chamada Multisource AI Scorecard Table (MAST). Essa ferramenta é uma lista de verificação que ajuda a projetar e avaliar sistemas de IA que apoiam a tomada de decisões.

#A Abordagem Ética para Projetar IA Confiável Focada no Humano

A gente propõe um método chamado PADTHAI-MM, que significa "Abordagem Ética para Projetar Sistemas de IA Confiáveis Focadas no Humano usando a Metodologia MAST." Esse método consiste em nove etapas, e a gente mostra como usá-lo através de um projeto chamado REporting Assistant for Defense and Intelligence Tasks (READIT). Nosso projeto teve duas versões do READIT: uma versão de alto-MAST que fornece contexto e explicações sobre as decisões da IA, e uma versão de baixo-MAST que funciona como uma "caixa-preta", onde os usuários não conseguem ver o que tá acontecendo dentro.

O feedback dos participantes foi importante pra redesenhar o protótipo, que foi testado por usuários em uma tarefa de relatório de inteligência. Os resultados mostraram que usar o MAST pode melhorar a confiança nos sistemas de IA. Os critérios no MAST estão ligados a quão bem os sistemas funcionam e como eles se alinham com seu propósito.

#Importância da Confiança em IA

À medida que a tecnologia de IA cresce, as preocupações sobre confiança e transparência aumentam, especialmente sobre como a IA toma decisões. Por exemplo, o ChatGPT é uma IA que se comunica por texto, mas muitos usuários não sabem como ela chega às suas respostas. Em contraste, modelos "caixa-branca" fornecem explicações sobre seus processos de tomada de decisão, que são importantes em áreas críticas como saúde e finanças.

A maioria dos avanços recentes em IA vem de métodos "caixa-preta", que ficaram famosos por causa do deep learning. Esses métodos muitas vezes superam os modelos caixa-branca em tarefas complexas, mas a falta de transparência gera preocupações. Algumas estratégias surgiram pra tornar esses modelos caixa-preta mais confiáveis, como a Inteligência Artificial Explicável (XAI), que oferece explicações das decisões da IA depois que elas são tomadas. No entanto, essas explicações podem não ajudar sempre os usuários a entenderem ou confiarem melhor na IA.

Estudos mostram que o nível de transparência de um sistema de IA está diretamente ligado ao quanto de confiança os usuários têm em suas decisões. Se os usuários não confiam, eles podem evitar interagir com a IA ou fazer isso de maneira ineficaz, pesando os benefícios potenciais contra os custos de erros.

#Fatores que Afetam a Confiança

Confiar na IA não é só uma questão de explicações. Muitos fatores influenciam a confiança dos usuários, incluindo quão bem eles entendem os processos da IA, seu propósito e seu desempenho. Pesquisas recentes indicam que os designers podem criar sistemas de IA melhores quando consideram essas características em relação às necessidades dos usuários.

Embora existam diretrizes gerais sobre o que constrói confiança em sistemas de IA, muitas sugestões dependem de padrões da indústria em vez de métodos práticos e testados. O MAST oferece uma abordagem estruturada baseada em padrões analíticos, fornecendo uma lista de verificação validada para avaliar a confiabilidade dos sistemas de IA.

#Os Critérios do MAST

O MAST consiste em nove critérios que ajudam a avaliar sistemas de IA:

1. Sourcing: Examina a qualidade e a credibilidade dos dados usados.
2. Incerteza: Trata de como bem o sistema lida com informações incertas.
3. Diferenciação: Esclarece como o sistema separa dados de suposições.
4. Análise de Alternativas: Avalia como o sistema sugere opções alternativas.
5. Relevância para o Cliente: Avalia quão bem o sistema atende às necessidades dos usuários.
6. Argumentação Lógica: Verifica quão clara e lógica é a justificativa do sistema.
7. Consistência: Garante que os julgamentos analíticos não mudem sem explicações claras.
8. Precisão: Examina quão confiáveis são as saídas do sistema.
9. Visualização: Avalia quão efetivamente o sistema apresenta as informações visualmente.

Esses critérios servem como um guia para construir sistemas de IA que os usuários possam confiar, especialmente em áreas onde decisões têm implicações sérias.

#A Estrutura PADTHAI-MM

Nossa estrutura, PADTHAI-MM, combina os critérios do MAST com etapas de design centradas no usuário. As nove etapas dessa abordagem guiam os designers na criação de sistemas de IA que atendam às necessidades dos usuários enquanto constroem confiança.

#Etapa 0: Reconhecimento de Oportunidades

Essa etapa envolve identificar oportunidades adequadas para implementar um sistema de IA, incluindo entrevistar partes interessadas pra entender suas necessidades e os desafios que enfrentam.

#Etapa 1: Determinar Objetivos de Funcionalidade do Sistema

Nessa etapa, os desenvolvedores estabelecem objetivos claros para o sistema de IA e quais tarefas ele deve realizar, garantindo que os usuários entendam como isso vai ajudar.

#Etapa 2: Determinar Objetivos de Critérios do MAST

Os designers avaliam a importância de cada critério do MAST e definem objetivos para quão bem o sistema de IA precisa atender a esses critérios. Essa etapa ajuda a priorizar recursos durante o processo de design.

#Etapa 3: Conceitualizar Recursos Informados pelo MAST

Depois de definir os objetivos, os designers fazem uma chuva de ideias para recursos que atenderão às necessidades dos usuários e aos critérios do MAST. Cada recurso é avaliado quanto à sua contribuição potencial para os objetivos gerais do design.

#Etapa 4: Gerar Maquetes de Sistema Informadas pelo MAST

Nessa etapa, os designers criam maquetes visuais do sistema que mostram os recursos pretendidos e como os usuários interagirão com eles. Essas maquetes servem como uma forma de explorar possibilidades de design.

#Etapa 5: Determinar Avaliações do MAST para Maquetes do Sistema de IA

O feedback das partes interessadas é coletado pra avaliar cada maquete em relação aos critérios do MAST. Essas informações informam ajustes necessários antes de passar para a próxima etapa.

#Etapa 6: Iterar Designs de Recursos e Maquetes

Com base no feedback, os designers refinam as maquetes, abordando quaisquer preocupações sobre usabilidade, funcionalidade ou critérios do MAST. Esse processo iterativo garante que os designs melhorem continuamente.

#Etapa 7: Gerar Protótipos Funcionais Informados pelo MAST

Nessa etapa, as maquetes aprovadas são desenvolvidas em protótipos funcionais que podem ser testados em cenários da vida real.

#Etapa 8: Determinar Avaliações do MAST para Protótipos Funcionais

As partes interessadas usam os protótipos e os avaliam em relação aos critérios do MAST, fornecendo insights valiosos sobre o desempenho e a confiabilidade dos protótipos.

#Etapa 9: Determinar se Mais Iterações de Design São Necessárias

Finalmente, a equipe de design revisa todos os dados coletados e avalia se os protótipos atendem aos seus objetivos estabelecidos. Se não atenderem, mais iterações são planejadas para refinar os designs.

#READIT: Um Estudo de Caso em IA Confiável

Pra ilustrar o uso da nossa estrutura, desenvolvemos o READIT, uma ferramenta de resumir textos que ajuda analistas a processar grandes quantidades de informações. Nós projetamos duas versões: uma versão de alto-MAST com vários recursos e uma versão de baixo-MAST focada em funcionalidade básica.

#Reconhecimento de Oportunidades para o READIT

Durante essa fase, buscamos a opinião de analistas de inteligência pra identificar suas necessidades enquanto processam informações de várias fontes, como mídias sociais e reportagens. Entender seus fluxos de trabalho ajudou a moldar o caso de uso do READIT.

#Objetivos de Funcionalidade para o READIT

O READIT foi projetado pra ajudar analistas a resumir rapidamente conteúdo de mídias sociais pra entender o sentimento público sobre questões específicas. Os objetivos incluíam gerar resumos precisos e identificar informações-chave rapidamente.

#Objetivos de Critérios do MAST para o READIT

Definimos expectativas claras para cada um dos nove critérios do MAST, visando que a versão de alto-MAST se saísse excelente em todos os aspectos, enquanto a versão de baixo-MAST visava avaliações justas.

#Conceitualizando Recursos para o READIT

Fizemos uma chuva de ideias com uma variedade de recursos com base nas necessidades dos nossos usuários pretendidos. Isso incluiu funções que permitem aos usuários ver as fontes de dados originais, avaliar a qualidade da informação e visualizar tendências de dados.

#Maquetes para o READIT

Maquetes foram criadas pra mostrar como os usuários interagiriam com o sistema, demonstrando os recursos necessários tanto nas versões de alto-MAST quanto de baixo-MAST.

#Avaliações do MAST para as Maquetes do READIT

Depois de apresentar as maquetes para potenciais usuários, coletamos o feedback deles e as avaliações com base nos critérios do MAST. Esse feedback nos ajudou a identificar áreas para melhoria.

#Iterando Designs para o READIT

Em resposta ao feedback dos participantes, refinamos nossos designs para ambas as versões do READIT, garantindo que os recursos permanecessem alinhados com as necessidades dos usuários enquanto seguiam as diretrizes do MAST.

#Protótipos Funcionais para o READIT

Os protótipos finais foram desenvolvidos para ambas as versões, permitindo que os usuários interagissem com sistemas que atendiam aos respectivos critérios de confiabilidade e funcionalidade.

#Avaliações do MAST para Protótipos Funcionais

Os analistas testaram os protótipos e forneceram avaliações do MAST juntamente com avaliações de confiança. Isso nos informou sobre a eficácia dos designs em cenários do mundo real e seu impacto na confiança dos usuários.

#Avaliando Mais Iterações de Design para o READIT

Depois de revisar os resultados, determinamos que os designs atingiram nossos objetivos de funcionalidade e confiança. O projeto provou a utilidade do MAST como uma ferramenta de design.

#Avaliação Teórica da Estrutura de Design Informada pelo MAST

Nós adotamos uma abordagem analítica pra examinar a conexão entre os recursos de design do READIT e as percepções de confiança dos usuários. Ao mapear o feedback dos participantes com os critérios do MAST, obtivemos insights sobre como recursos individuais contribuem para a confiança geral.

#Conclusão

Nosso trabalho destaca como a ferramenta MAST pode ser integrada com princípios de design centrados no usuário pra ajudar a criar sistemas de IA mais confiáveis. Ao seguir a estrutura PADTHAI-MM, os designers podem construir sistemas que não só atendem às necessidades dos usuários, mas também promovem confiança nos resultados.

Esse método serve como uma ponte entre estudos teóricos de confiança e aplicações práticas no campo. À medida que os sistemas de IA continuam a evoluir, estabelecer confiança através de design transparente e focado no usuário será crucial pra garantir aceitação e operação eficaz. Esperamos que essa estrutura guie futuros esforços na construção de sistemas de IA confiáveis e responsáveis.