Priorizando as Pessoas no Design de IA
Um novo framework foca em requisitos centrados no ser humano para sistemas de IA.
― 9 min ler
Índice
O software de IA tá se tornando uma parte vital de várias organizações hoje em dia. Mas, muitos desenvolvedores ficam tão focados na tecnologia que acabam passando por cima de fatores humanos importantes nos projetos. Isso pode resultar em sistemas tendenciosos que não consideram uma variedade de perspectivas. Questões como idade, gênero, cultura e emoções muitas vezes são ignoradas, o que pode causar problemas na forma como a IA se comporta e toma decisões. Por exemplo, pesquisas mostraram que mulheres podem receber menos anúncios de emprego de um sistema de IA simplesmente porque os dados usados para treinar o sistema não as representavam bem.
O objetivo do design centrado no ser humano é criar software que prioriza as necessidades e valores humanos. Isso significa prestar atenção em como as pessoas vão usar o software e no que elas valorizam, como segurança e tradição. Mais organizações estão começando a investir em soluções de IA centradas no ser humano. Empresas como Google, Microsoft e Apple estão agora criando diretrizes para desenvolver IA que leve em conta as necessidades humanas. Mas, essas diretrizes geralmente focam mais na parte do design e deixam de lado como reunir os requisitos certos.
Recentemente, alguns estudos têm explorado a incorporação de requisitos centrados no ser humano no desenvolvimento de software. Isso inclui fatores como emoções, tipos de personalidade e desafios mentais. No entanto, ainda falta pesquisa sobre como criar requisitos para sistemas de IA centrados no ser humano. Um estudo descobriu que muitos projetos de software de IA não acertam quando se trata de abordagens centradas no ser humano.
Para abordar essas lacunas, um novo framework chamado RE4HCAI foi criado, que se concentra em escrever e modelar requisitos para software de IA centrado no ser humano. Esse framework é construído com base em diretrizes e pesquisas existentes. Ele também inclui insights de especialistas na área para destacar fatores humanos essenciais durante o processo de coleta de requisitos.
O framework foi testado por meio de um estudo de caso onde foi usado para melhorar a qualidade de vídeos em 360 graus para usuários de realidade virtual. Nesse estudo de caso, foi descoberto que alguns requisitos não puderam ser identificados logo de cara devido à natureza complexa da IA. Uma abordagem mais flexível para a coleta de requisitos foi considerada necessária.
Contexto e Motivação
O framework RE4HCAI visa ajudar a reunir e especificar os requisitos para software de IA centrado no ser humano. O processo começou com um estudo que analisou as abordagens atuais para IA centrada no ser humano na engenharia de requisitos. A pesquisa também incluiu a análise de diretrizes de grandes empresas para entender melhor como elas abordam o desenvolvimento de IA centrada no ser humano.
A pesquisa destacou seis áreas-chave que devem ser consideradas ao criar software de IA centrado no ser humano:
Necessidades do Usuário
Essa área enfatiza capturar as necessidades do usuário primeiro. É crucial entender as capacidades e limitações do sistema, como os usuários vão interagir com ele e se o sistema vai exigir input do usuário ou funcionar automaticamente. Por exemplo, um sistema proativo pode antecipar solicitações do usuário com base em ações anteriores, enquanto um sistema reativo espera que os usuários iniciem ações.
Necessidades do Modelo
Essa área foca no algoritmo ou modelos usados no sistema de IA. É importante escolher algoritmos que otimizem o que os interessados querem - seja precisão, explicabilidade ou custo-efetividade. Os requisitos também devem abordar como os dados que chegam vão impactar o treinamento do modelo.
Necessidades de Dados
Entender quais dados são necessários para treinar a IA é essencial. Isso inclui como os dados serão coletados e a qualidade deles. Fatores como precisão, completude e justiça devem ser considerados. Também é necessário identificar quaisquer viéses que possam existir nos dados e descobrir como mitigá-los.
Feedback e Controle do Usuário
Essa área analisa como o feedback do usuário é coletado e quanto controle os usuários têm sobre o sistema. Diferentes tipos de feedback, sejam implícitos ou explícitos, são vitais para melhorar o sistema. Os usuários devem sentir que conseguem gerenciar o sistema, especialmente em casos onde ele pode falhar.
Explicabilidade e Confiança
Explicabilidade se refere à capacidade da IA de esclarecer suas decisões e previsões. É necessário estabelecer o que precisa ser explicado e a quem. Fornecer aos usuários razões compreensíveis para as ações da IA pode ajudar a construir confiança no sistema.
Erros e Falhas
Finalmente, é essencial identificar erros potenciais no sistema de IA durante a fase de requisitos. Deve haver um plano para lidar com esses erros e quais possíveis fontes eles podem ter.
Framework Proposto: RE4HCAI
O framework RE4HCAI é uma maneira estruturada de reunir e modelar requisitos voltados para sistemas de IA centrados no ser humano. Ele inclui três camadas principais:
- Diretrizes Centradas no Ser Humano: Essa camada lista as necessidades centradas no ser humano e as mapeia para um modelo de referência.
- Catálogo de Requisitos: Uma lista de verificação para ajudar a reunir requisitos detalhados com base nas seis áreas-chave.
- Linguagem de Modelagem: Uma ferramenta visual para apresentar de forma clara os requisitos coletados.
Estudo de Caso: Melhorando Vídeos em 360 Graus
O framework RE4HCAI foi aplicado em um estudo de caso focado em melhorar a qualidade de vídeos em 360 graus para aplicações de realidade virtual. A produção tradicional de vídeos em 360 graus pode enfrentar desafios como baixa resolução e problemas de qualidade. O objetivo era usar IA para melhorar o produto final enquanto garantíamos que as necessidades dos usuários fossem atendidas.
Identificando Necessidades do Usuário
O primeiro passo foi entender as expectativas e necessidades dos usuários. O sistema de IA precisaria melhorar significativamente a qualidade do vídeo, idealmente tornando-a quatro vezes melhor. O estilo de interação permaneceria reativo - melhorando automaticamente a qualidade do vídeo sem exigir que os usuários fizessem nada.
Durante as discussões, foi essencial esclarecer o que o sistema poderia realisticamente alcançar. Os usuários finais precisariam de equipamentos de VR capazes de exibir conteúdo de alta qualidade, e também precisariam entender que os vídeos só poderiam ser assistidos offline, pelo menos inicialmente.
Necessidades do Modelo
A próxima área de foco foram os requisitos do modelo. A ideia era garantir que o feedback dos usuários desempenhasse um papel na afinação do modelo. Por exemplo, os espectadores classificariam a qualidade do vídeo após assistirem ao conteúdo melhorado, o que informaria novos ajustes no modelo.
Compromissos também foram discutidos em relação à escalabilidade do modelo. Ajustar a estrutura do modelo poderia proporcionar melhores resultados, mas exigiria mais recursos computacionais. Equilibrar esses compromissos é crítico para garantir que o sistema funcione efetivamente.
Necessidades de Dados
A terceira sessão mudou o foco para os requisitos de dados. Ficou claro que a coleta de dados inicial não havia atendido aos padrões de qualidade necessários para um treinamento eficaz do modelo. Como resultado, os dados precisaram ser limpos e ajustados para resolver problemas como inconsistências e informações desatualizadas.
A equipe enfatizou que dados diversos deveriam ser coletados para evitar viés. Isso incluía coletar conteúdo visual que variava em termos de luz, movimento e outros atributos para informar melhor o sistema de IA e garantir que ele funcionasse bem em diferentes situações.
Benefícios do Framework
O framework RE4HCAI trouxe vantagens significativas durante o processo de coleta de requisitos. Ele permitiu que a equipe identificasse e esclarecesse aspectos centrados no ser humano que estavam faltando na configuração original do projeto.
Antes, o desenvolvimento se concentrava demais nos aspectos tecnológicos, enquanto o lado humano era amplamente ignorado. Ao usar o framework, viéses potenciais foram identificados cedo e os interessados foram incentivados a considerar os pontos de vista dos usuários durante todo o desenvolvimento.
Os modelos visuais produzidos durante as sessões facilitaram para todos os envolvidos ver o que precisava ser feito. Por exemplo, a modelagem criou distinções claras entre necessidades dos usuários, capacidades e limitações. A equipe descobriu que usar representações visuais simplificou as discussões e tornou mais fácil destacar áreas que precisavam de atenção.
O feedback dos usuários também se tornou um foco-chave que não fazia parte do projeto inicialmente, mas foi incorporado após a implementação do framework. Essa mudança significou que o modelo poderia melhorar continuamente com base em como os usuários vivenciavam o conteúdo.
Desafios e Trabalho Futuro
Mesmo com a aplicação bem-sucedida do framework, surgiram desafios. Por exemplo, certos requisitos só puderam ser identificados após os testes, e não no início do projeto.
O futuro exige refinamento do framework e uma melhor compreensão de como as necessidades centradas no ser humano podem mudar ao longo do tempo. Isso pode envolver a realização de mais workshops e explorar como o framework se compara a métodos existentes.
Em conclusão, o framework RE4HCAI oferece uma abordagem estruturada para reunir e modelar requisitos para sistemas de software de IA centrados no ser humano. Ao focar nas necessidades dos usuários e incorporar feedback, o processo de desenvolvimento pode levar a aplicações de IA mais inclusivas e eficazes.
Título: Requirements Engineering Framework for Human-centered Artificial Intelligence Software Systems
Resumo: [Context] Artificial intelligence (AI) components used in building software solutions have substantially increased in recent years. However, many of these solutions focus on technical aspects and ignore critical human-centered aspects. [Objective] Including human-centered aspects during requirements engineering (RE) when building AI-based software can help achieve more responsible, unbiased, and inclusive AI-based software solutions. [Method] In this paper, we present a new framework developed based on human-centered AI guidelines and a user survey to aid in collecting requirements for human-centered AI-based software. We provide a catalog to elicit these requirements and a conceptual model to present them visually. [Results] The framework is applied to a case study to elicit and model requirements for enhancing the quality of 360 degree~videos intended for virtual reality (VR) users. [Conclusion] We found that our proposed approach helped the project team fully understand the human-centered needs of the project to deliver. Furthermore, the framework helped to understand what requirements need to be captured at the initial stages against later stages in the engineering process of AI-based software.
Autores: Khlood Ahmad, Mohamed Abdelrazek, Chetan Arora, Arbind Agrahari Baniya, Muneera Bano, John Grundy
Última atualização: 2023-05-18 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2303.02920
Fonte PDF: https://arxiv.org/pdf/2303.02920
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.