Pesquisa Revela Consenso de Especialistas sobre Práticas de Segurança em IA

Muitas empresas de AI tops, como OpenAI e Google DeepMind, estão focadas em criar sistemas de AI avançados que consigam igualar ou superar a inteligência humana em várias tarefas. Enquanto trabalham nesse objetivo ambicioso, essas empresas podem acabar desenvolvendo sistemas de AI que trazem Riscos significativos. Embora algumas medidas tenham sido tomadas para reduzir esses riscos, ainda não existem práticas de Segurança e Governança bem definidas.

Para entender o que os especialistas acham que deve ser feito, foi enviado um questionário para 92 profissionais de destaque de laboratórios de pesquisa em AI, universidades e organizações civis, dos quais 51 responderam. Os participantes foram questionados sobre seu nível de concordância com 50 afirmações relacionadas às práticas de segurança e governança que os laboratórios de AI deveriam adotar. Os resultados mostraram que, em média, a maioria dos participantes apoiou todas as afirmações.

As descobertas podem servir como um ponto de partida para criar melhores práticas, padrões e regulamentações para laboratórios de AI.

#Principais Descobertas

De maneira geral, houve um forte acordo entre os respondentes de que os laboratórios de AI deveriam adotar a maioria das práticas de segurança e governança listadas. Para quase todas as práticas, a maioria dos respondentes concordou, mesmo que um pouco ou fortemente, com sua implementação. O nível médio de concordância para as práticas foi em torno de 85,2%.

Notavelmente, os respondentes concordaram especialmente que os laboratórios de AI devem realizar avaliações de riscos antes de implantar modelos, avaliar capacidades perigosas, ter auditorias externas, estabelecer restrições de segurança e realizar exercícios de red teaming. Especificamente, 98% dos respondentes concordaram que essas práticas devem ser implementadas.

Curiosamente, especialistas que trabalham em laboratórios de AI mostraram um nível de concordância mais alto em média, comparado aos de universidades ou sociedade civil. Contudo, não foram encontradas diferenças significativas entre esses grupos em nível de item.

#Implicações de Políticas

Os laboratórios de AI podem usar essas descobertas para realizar revisões internas e identificar quaisquer práticas de segurança que ainda não tenham implementado. Os resultados incentivam os laboratórios a cumprirem compromissos como auditorias de terceiros e a melhorarem suas estratégias de gerenciamento de riscos.

Nos Estados Unidos, onde as preocupações sobre AI estão crescendo, reguladores podem usar essas descobertas para priorizar quais políticas implementar. Na União Europeia, essas informações podem ajudar a moldar o debate em torno das propostas de regulamentações de AI. Da mesma forma, no Reino Unido, os achados podem ajudar na elaboração de novas regulamentações para AI.

Essas descobertas também podem contribuir para iniciativas em andamento que visam desenvolver protocolos de segurança compartilhados para grandes modelos de AI e adaptar estruturas de gerenciamento de riscos existentes ao contexto de sistemas de AI de uso geral.

#Histórico

Nos últimos meses, vários sistemas de AI poderosos foram introduzidos e agora estão sendo usados por milhões em todo o mundo. As principais empresas de AI têm afirmado cada vez mais que seu objetivo final é desenvolver inteligência geral artificial (AGI). Esse termo se refere a sistemas de AI que conseguem igualar ou superar o desempenho humano em diversas tarefas cognitivas.

À medida que as discussões sobre AGI ganharam força na política e no discurso público, houve esforços para criar padrões e regulamentações para organizações que trabalham em direção a esse objetivo. No entanto, muitas questões sobre esses padrões e regulamentações ainda não foram respondidas.

#Propósito do Estudo

Este questionário tem como objetivo reunir as opiniões de especialistas sobre melhores práticas em segurança e governança da AGI. O objetivo é determinar quais práticas têm amplo apoio e quais áreas ainda precisam de desenvolvimento. Ao coletar opiniões, os achados podem contribuir para discussões sobre melhores práticas na segurança e governança da AGI.

O questionário incluiu 50 afirmações relacionadas a possíveis práticas de segurança e governança da AGI. A esperança é que os laboratórios de AI adotem voluntariamente essas melhores práticas emergentes, mas esses achados também poderiam informar esforços regulatórios e processos de definição de padrões.

#Trabalhos Relacionados

Embora alguns laboratórios de AI compartilhem informações sobre suas práticas de governança, parece não haver um esforço independente para criar melhores práticas especificamente para a governança da AGI. No entanto, existem iniciativas em andamento que visam desenvolver protocolos de segurança para sistemas de AI de uso geral, que incluem alguns laboratórios de AGI.

Notavelmente, várias organizações estão trabalhando para adaptar padrões de gerenciamento de riscos de AI para melhor atender às necessidades dos desenvolvedores focados em sistemas de AI de uso geral. Esses esforços enfatizam a importância de criar padrões e melhores práticas para mitigar os riscos associados às tecnologias de AI.

#Terminologia

Neste questionário, "AGI" refere-se a sistemas de AI que podem alcançar ou superar o desempenho humano em uma ampla gama de tarefas cognitivas. Embora não exista uma definição universalmente aceita de AGI, ela está associada a vários termos relacionados a capacidades avançadas de AI.

Para os propósitos deste documento, "laboratórios de AGI" referem-se a organizações que estão especificamente focadas em construir AGI, incluindo OpenAI, Google DeepMind e Anthropic. Esses laboratórios representam lugares onde as práticas de segurança e governança podem ter um impacto significativo no desenvolvimento de tecnologias de AI.

#Visão Geral do Questionário

O documento está organizado em seções que discutem a amostra, o design do questionário, os resultados, as implicações políticas, as limitações e sugestões para trabalhos futuros.

#Tamanho e Seleção da Amostra

O questionário foi enviado a 92 especialistas e recebeu 51 respostas, resultando em uma taxa de resposta de 55,4%. Os participantes foram escolhidos de diferentes setores, incluindo laboratórios de AGI, academia, sociedade civil e outros.

Os especialistas foram selecionados com base em seu conhecimento e experiência relacionados à segurança e governança da AGI, garantindo uma representação diversificada de opiniões nas respostas.

#Design do Questionário

Os respondentes foram convidados a consentir antes de participar do questionário. Ele começou definindo termos-chave relacionados à AGI, seguido de afirmações sobre práticas que os laboratórios de AI deveriam considerar. Informações demográficas também foram coletadas, incluindo gênero e setor de trabalho.

Os respondentes tiveram a oportunidade de sugerir práticas adicionais que acreditavam ser importantes para a segurança e governança da AGI.

#Respostas e Análise

Os dados coletados foram analisados para avaliar o nível de concordância com cada afirmação. As respostas foram organizadas por porcentagens de concordância e médias para avaliar o consenso geral.

#Nível de Concordância

Os resultados do questionário indicaram um nível significativo de concordância entre os participantes sobre a necessidade de várias práticas de segurança e governança. O alto nível de concordância nas medidas de segurança demonstra um forte desejo de desenvolvimento responsável nos laboratórios de AI.

Entre as práticas com maior concordância estavam a realização de avaliações de riscos antes da implantação, avaliações de capacidades perigosas e auditorias de terceiros. Essas práticas foram consideradas cruciais para gerenciar riscos associados às tecnologias de AI.

#Diferenças Entre Setores e Gêneros

A análise também explorou diferenças nas respostas com base no setor dos respondentes e seu gênero. Embora a concordância geral tenha sido alta entre todos os grupos, houve algumas diferenças notáveis.

#Diferenças por Setor

Especialistas de laboratórios de AGI mostraram um nível médio de concordância mais alto em comparação com os de academia e sociedade civil. No entanto, nenhuma diferença significativa na concordância foi notada ao examinar itens individuais.

#Diferenças por Gênero

Nenhuma diferença significativa foi encontrada nas respostas entre participantes do sexo masculino e feminino. Isso sugere que as preocupações sobre segurança e governança da AI são compartilhadas entre os gêneros.

#Práticas Sugeridas

Além das 50 práticas incluídas no questionário, os respondentes propuseram outras medidas únicas de segurança e governança para os laboratórios de AGI. Isso destaca a necessidade de uma exploração mais ampla das práticas que podem melhorar a governança responsável.

Várias das práticas sugeridas enfatizaram a importância de envolver o público em discussões sobre riscos, aumentar a transparência e garantir que considerações éticas guiem o desenvolvimento de sistemas de AI.

#Conclusão

O questionário demonstra que há um forte consenso entre os especialistas a favor da implementação de uma variedade de práticas de segurança e governança nos laboratórios de AGI. Com 98% dos participantes concordando sobre a importância de práticas como avaliações de risco e auditorias externas, os achados ressaltam a urgência para que as organizações adotem essas medidas.

À medida que as discussões sobre segurança e governança da AGI se tornam mais proeminentes, há uma oportunidade para colaboração entre várias partes interessadas para garantir um desenvolvimento responsável da AI. As percepções obtidas a partir deste questionário podem ajudar a moldar futuras políticas e padrões no campo da inteligência artificial.

#Agradecimentos

Agradecemos a todos os participantes que contribuíram com suas opiniões por meio do questionário e participaram das discussões que se seguiram. Sem suas percepções e envolvimento, esta pesquisa não teria sido possível. Os autores reconhecem a importância de perspectivas diversas na formação do futuro da governança da AI.

#Adendo: Lista de Afirmações

A lista a seguir apresenta as afirmações usadas no questionário, organizadas pelo nível de concordância expressado pelos respondentes. Cada afirmação aborda um aspecto específico de segurança e governança que os laboratórios de AI deveriam considerar.

1. Avaliação de risco pré-implantação: os laboratórios de AGI devem tomar medidas extensivas para identificar, analisar e avaliar riscos de modelos poderosos antes de implantá-los.
2. Avaliações de capacidades perigosas: os laboratórios de AGI devem realizar avaliações para verificar as capacidades perigosas de seus modelos.
3. Auditorias de modelo por terceiros: os laboratórios de AGI devem contratar auditorias de modelos por terceiros antes de implantar modelos poderosos.
4. Restrições de segurança: os laboratórios de AGI devem estabelecer restrições de segurança apropriadas para modelos poderosos após a implantação.
5. Red teaming: os laboratórios de AGI devem contratar equipes externas de red teaming antes de implantar modelos poderosos.
6. Monitorar sistemas e seus usos: os laboratórios de AGI devem monitorar de perto os sistemas implantados e seu impacto na sociedade.
7. Técnicas de alinhamento: os laboratórios de AGI devem implementar técnicas de segurança e alinhamento de ponta.
8. Plano de resposta a incidentes de segurança: os laboratórios de AGI devem ter um plano para responder a incidentes de segurança.
9. Avaliações pós-implantação: os laboratórios de AGI devem avaliar continuamente os modelos em relação a capacidades perigosas após a implantação.
10. Relatar incidentes de segurança: os laboratórios de AGI devem relatar acidentes e quase-acidentes para as autoridades competentes e outros laboratórios de AGI.

As afirmações restantes seguem temas similares, focando em transparência, escrutínio externo e desenvolvimento de diretrizes éticas dentro dos laboratórios de AI. Cada afirmação reflete as opiniões coletivas dos especialistas sobre as melhores práticas para uma governança responsável da AI.

#Sugestões Adicionais

Os participantes forneceram sugestões para aprimorar ainda mais as medidas de segurança e governança nos laboratórios de AGI, refletindo um compromisso coletivo em melhorar os padrões no desenvolvimento de AI. Essas sugestões podem ser categorizadas em diferentes áreas:

1. Envolvimento Público: os laboratórios de AGI devem envolver o público em discussões sobre riscos aceitáveis e modelos de governança.
2. Transparência: os laboratórios de AGI devem ser claros sobre suas fontes de dados de treinamento e as medidas de segurança que implementam.
3. Padrões Éticos: os laboratórios de AGI devem estabelecer princípios éticos e garantir que suas estruturas de governança priorizem os benefícios sociais em vez do lucro.

A variedade de sugestões reforça a ideia de que uma abordagem colaborativa, incluindo a contribuição de várias partes interessadas, é vital para moldar uma governança eficaz na paisagem em rápida evolução da inteligência artificial.

#Direções Futuras

Seguindo em frente, há uma necessidade crítica de pesquisa contínua e colaboração entre especialistas de várias disciplinas para enfrentar as complexidades da segurança e governança de AI. Isso inclui:

1. Pesquisas Abrangentes: Conduzir pesquisas maiores e mais inclusivas para coletar perspectivas diversas de várias partes interessadas.
2. Envolvimento Público: Incentivar o envolvimento público em discussões sobre riscos e governança da AI para aumentar a conscientização e a responsabilidade.
3. Avaliação Contínua: Atualizar e refinar melhores práticas com base em novas percepções e desenvolvimentos no campo da AI.

Ao tomarmos essas medidas, podemos trabalhar em direção a um futuro mais responsável e guiado eticamente na inteligência artificial. A colaboração entre pesquisadores, formuladores de políticas e o público será essencial para garantir que as tecnologias de AI sejam desenvolvidas e implantadas de maneira segura, transparente e benéfica para a sociedade como um todo.