Rastreando a Transparência em Modelos de Fundação

Os modelos de fundação têm um papel importante na inteligência artificial (IA) e afetam várias partes das nossas vidas. No entanto, tem pouca informação sobre como esses modelos funcionam e como são construídos. Para entender isso melhor, foi criado o Índice de Transparência de Modelos de Fundação em outubro de 2023, pra acompanhar o quanto os Desenvolvedores desses modelos são abertos e claros sobre suas práticas.

A primeira versão do índice analisou 10 empresas principais, como OpenAI e Google, usando 100 medidas diferentes pra ver o quanto eles divulgam sobre seu trabalho. Naquela época, a média das notas dessas empresas era só 37 de 100, mostrando que não tinha muita transparência.

Pra ver como as coisas mudaram, um estudo de acompanhamento (versão 1.1) foi feito 6 meses depois, envolvendo 14 desenvolvedores que agora estavam fornecendo informações através de seus próprios relatórios. Essa abordagem permitiu que mais detalhes surgissem do que estavam disponíveis publicamente antes. Nessa versão, a média subiu pra 58 de 100, refletindo uma melhoria significativa de 21 pontos.

Essa melhoria veio principalmente do fato de que os desenvolvedores divulgaram novas informações durante o processo de relatório. Em média, as empresas compartilharam detalhes sobre 16,6 medidas que não tinham sido reveladas antes. No entanto, certas áreas ainda permanecem obscuras, especialmente sobre direitos autorais, Acesso a Dados e o impacto desses modelos na sociedade.

A transparência é essencial nesse campo. À medida que a IA continua moldando nossa economia e sociedade, entender como esses modelos são criados e usados é vital pra responsabilizar os desenvolvedores, incentivar a concorrência e garantir que todo mundo entenda as implicações dessas tecnologias.

Vários governos estão intercedendo pra aumentar a transparência, com iniciativas como o Ato de IA da UE e o proposto Ato de Transparência de Modelos de Fundação de IA nos EUA, que pressionam as empresas a divulgar mais informações.

#Importância da Transparência dos Modelos de Fundação

Modelos de fundação são o foco central no desenvolvimento da IA. À medida que essas tecnologias evoluem, elas começam a influenciar vários aspectos das nossas vidas, tornando importante que as pessoas saibam como funcionam. Sem transparência, é complicado avaliar os dados com os quais esses modelos são treinados, que podem incluir informações protegidas por direitos autorais ou sensíveis.

Pra entender melhor a situação atual dos modelos de fundação, foi criado o Índice de Transparência de Modelos de Fundação. O índice começou com a versão 1.0 em outubro de 2023, avaliando 10 desenvolvedores principais em 100 medidas relacionadas à transparência deles.

Essas medidas cobrem diferentes aspectos, como uso de dados, trabalho envolvido na construção dos modelos e os riscos associados ao seu uso. Essa primeira versão destacou uma grande falta de transparência, com uma média de 37 de 100. No entanto, também revelou que alguns desenvolvedores eram mais abertos que outros.

#Estudo de Acompanhamento (Versão 1.1)

Pra ver como as coisas mudaram, foi feito um estudo de acompanhamento (versão 1.1) 6 meses depois. Esse estudo usou as mesmas 100 medidas, mas pediu que os desenvolvedores reportassem as informações eles mesmos, ao invés de depender só de dados publicamente disponíveis.

A escolha de ter os desenvolvedores submetendo seus relatórios foi motivada por três objetivos principais:

1. Completação: Esse método garante que informações importantes não sejam perdidas.
2. Clareza: Desenvolvedores confirmando suas informações reduz a confusão e incerteza.
3. Escalabilidade: Ter os desenvolvedores reunindo essas informações diminui a carga de trabalho dos pesquisadores.

No total, foi feito contato com 19 desenvolvedores, dos quais 14 forneceram seus relatórios. Os resultados mostraram que os desenvolvedores estão agora mais dispostos a compartilhar informações, levando a uma nota geral de 58. Embora grande parte do aumento na transparência seja positiva, várias áreas ainda mostram opacidade significativa.

#Processo de Relato dos Desenvolvedores

O processo desse estudo envolveu vários passos:

1. Solicitação aos Desenvolvedores: Entre dezembro de 2023 e janeiro de 2024, a comunicação foi iniciada com 19 empresas pra solicitar relatórios de transparência.

2. Relato dos Desenvolvedores: Em fevereiro de 2024, 14 desenvolvedores submeteram relatórios sobre seus modelos principais, com base nas 100 medidas.

3. Pontuação Inicial: Após revisar os relatórios, a pontuação foi feita com base nas informações fornecidas.

4. Resposta dos Desenvolvedores: Em abril de 2024, os desenvolvedores tiveram a chance de contestar suas notas e fornecer informações adicionais pra esclarecimento.

Através de múltiplas rodadas de comunicação, relatórios finais de transparência foram preparados pra cada desenvolvedor, consolidando suas divulgações.

#Resultados Gerais

Os achados da versão 1.1 mostraram melhorias notáveis na transparência entre os desenvolvedores avaliados.

• A média da pontuação subiu de 37 na versão 1.0 pra 58 na versão 1.1.
• As pontuações aumentaram em todos os domínios, com melhorias notáveis em indicadores upstream, indicadores de modelo e indicadores downstream.

Apesar dessas melhorias, a transparência continua sendo uma questão importante, com muitos desenvolvedores ainda não se destacando em áreas-chave como acesso a dados e Avaliação de Impacto.

#Áreas para Melhoria

A análise revelou onde os desenvolvedores se destacaram e onde falharam:

1. Indicadores Upstream: Os desenvolvedores pontuaram mais baixo nessa categoria, com uma média de 46%. Isso reflete uma divulgação fraca sobre os recursos usados pra construir os modelos, incluindo trabalho de dados e acesso a dados.

2. Indicadores de Modelo: A média das pontuações nos indicadores relacionados a modelos foi melhor, em torno de 61%. Isso sugere que os desenvolvedores estão um pouco mais abertos sobre como seus modelos funcionam e os riscos que envolvem.

3. Indicadores Downstream: Os desenvolvedores pontuaram mais alto nessa seção, com uma média de 65%. Essa área foca em como os modelos são usados e as políticas que governam sua distribuição.

#Desafios na Transparência

Embora tenha havido melhorias, muitos desafios ainda permanecem. Certas áreas, como acesso a dados e impacto, ainda mostram altos níveis de opacidade. Os desenvolvedores geralmente não fornecem detalhes sobre as fontes de seus dados ou os efeitos que seus modelos têm sobre usuários e sociedade.

Em particular, apenas alguns desenvolvedores compartilharam informações sobre como os dados são coletados e usados, deixando clientes e o público com pouca compreensão das bases desses modelos. Isso continua levantando questões sobre responsabilidade e uso responsável.

#Influência de Modelos Abertos vs. Fechados

O estudo também examinou a diferença entre modelos abertos e fechados. Modelos abertos, onde o código e os dados subjacentes são compartilhados, geralmente se saíram melhor em termos de transparência do que modelos fechados. Desenvolvedores que faziam parte de iniciativas que promovem o acesso aberto tiveram notas melhores em média do que aqueles que mantinham seus modelos como propriedade.

No entanto, desenvolvedores fechados tendiam a fornecer mais informações sobre suas políticas internas e como lidavam com o comportamento dos usuários. Isso destaca um cenário complexo onde abertura não necessariamente se traduz em melhor transparência em todos os aspectos.

#Participação dos Desenvolvedores

No total, 14 desenvolvedores participaram dessa rodada de avaliações, com muitos fornecendo informações novas que não tinham sido divulgadas publicamente antes. A mistura de desenvolvedores incluiu tanto aqueles avaliados na primeira versão quanto novatos, expandindo a diversidade geral do relatório.

O relatório indicou que os desenvolvedores estão se tornando mais dispostos a se engajar com práticas de transparência, levando a uma melhor compreensão de seus modelos.

#Novas Informações e Pontuação

Uma característica chave da versão 1.1 foi a possibilidade dos desenvolvedores compartilharem novas informações, que contribuíram significativamente para suas notas. Pra muitos desenvolvedores, esses novos dados eram essenciais pra refletir seus verdadeiros níveis de transparência.

Novas divulgações frequentemente estavam relacionadas a áreas como práticas trabalhistas, impacto ambiental e detalhes operacionais, que tinham sido subnotificadas anteriormente.

Por exemplo, alguns desenvolvedores esclareceram seus processos de computação e as emissões de carbono associadas. Esse relato direto não só melhorou suas pontuações, mas ajudou a pintar um quadro mais claro de suas práticas.

#Recomendações Futuras

Com base nas informações obtidas no estudo, várias recomendações foram feitas pra diferentes partes interessadas no ecossistema de modelos de fundação.

#Para Desenvolvedores

1. Investir em Transparência: Os desenvolvedores devem se concentrar em melhorar a clareza e abertura de seus relatórios. Isso pode incluir documentação detalhada e atualizações regulares sobre suas práticas.

2. Engajar com Partes Interessadas: Construir melhores linhas de comunicação com clientes e o público pode aumentar a confiança e responsabilidade.

#Para Clientes

1. Exigir Transparência: Aqueles que compram serviços de modelos devem advogar por divulgações mais claras e apoiar desenvolvedores que priorizam a transparência.

2. Definir Padrões: Governos, como compradores significativos de tecnologia, podem influenciar práticas definindo expectativas de transparência em contratos.

#Para Legisladores

1. Incentivar Divulgação: Legisladores devem pressionar por regulamentações que exijam transparência em IA, particularmente em relação ao uso de dados e avaliação de impacto.

2. Estabelecer Melhores Práticas: Criar diretrizes para que os desenvolvedores sigam pode ajudar a moldar um ecossistema mais aberto.

#Para Defensores da Transparência

1. Investigar e Monitorar: Pesquisadores e jornalistas podem usar os novos relatórios de transparência pra fazer investigações mais profundas sobre as práticas dos desenvolvedores.

2. Promover Conscientização: Defensores devem aumentar a conscientização pública sobre a importância da transparência no desenvolvimento e implementação da IA.

#Conclusão

O Índice de Transparência de Modelos de Fundação fez avanços significativos em destacar a necessidade de transparência em modelos de IA. Embora tenham havido melhorias nos últimos seis meses, ainda há um longo caminho a percorrer. À medida que os modelos de fundação continuam a moldar nosso mundo, alcançar maior transparência será crucial pra garantir que essas tecnologias sejam desenvolvidas e usadas de forma responsável.

O diálogo contínuo entre desenvolvedores e partes interessadas será essencial pra fomentar um ambiente onde a transparência não só é esperada, mas abraçada. Ao melhorar a transparência, os desenvolvedores podem construir confiança, fomentar inovação e garantir que seus modelos contribuam positivamente para a sociedade.