Simple Science

Ciência de ponta explicada de forma simples

# Informática# Interação Homem-Computador

Garantindo Pesquisa Responsável em Aprendizado de Máquina

Um guia pra promover práticas éticas na pesquisa em machine learning.

K. J. Kevin Feng, Inyoung Cheong, Quan Ze Chen, Amy X. Zhang

― 6 min ler


Ética em Aprendizado deÉtica em Aprendizado deMáquinapesquisa em IA.Um foco em práticas responsáveis na
Índice

A lista de verificação tem como objetivo promover pesquisas responsáveis em aprendizado de máquina. Ela foca em Reprodutibilidade, transparência, ética na pesquisa e compreensão do Impacto na Sociedade. Artigos que não incluírem essa lista serão rejeitados imediatamente. A lista deve ser colocada após as referências e qualquer material suplementar opcional. Isso não conta para o limite de páginas.

Respondendo às Perguntas da Lista de Verificação

Para cada pergunta, você pode responder "Sim", "Não" ou "NA". Responder "NA" significa que a pergunta não se aplica a esse artigo ou que as informações necessárias não estão disponíveis. Depois da sua resposta, você deve fornecer uma breve justificativa em uma ou duas frases, mesmo para "NA".

As respostas a essas perguntas são essenciais para a submissão do seu artigo e serão visíveis para revisores e revisores de ética. Você precisará incluir a lista de verificação com quaisquer revisões finais do seu artigo, e ela será publicada junto com o artigo.

Os revisores levarão em conta a lista de verificação ao avaliar seu artigo. Enquanto "Sim" é melhor que "Não", não tem problema em responder "Não" se você der uma boa razão, como "barras de erro não são relatadas devido a altos custos computacionais". Responder "NA" ou "Não" não levará à rejeição automática. Use seu melhor julgamento e forneça detalhes para esclarecer suas respostas.

Afirmativas no Artigo

O resumo e a introdução devem expressar claramente as principais afirmações feitas no artigo, incluindo o que você contribuiu e quaisquer suposições ou limitações essenciais. Se você responder "Não" ou "NA" para essa pergunta, os revisores podem não ver isso de forma favorável. As afirmações devem estar alinhadas com a teoria e os resultados práticos, indicando o quanto os resultados podem ser esperados para funcionar em outras situações.

Você pode incluir metas ambiciosas como motivação, mas esclareça que essas metas não foram alcançadas no artigo. Se você responder "NA", isso implica que o artigo não tem limitações. Se você responder "Não", significa que existem limitações, mas não são discutidas. É sugerido criar uma seção de "Limitações" no seu artigo.

Suposições e Robustez

O artigo deve mencionar quaisquer suposições fortes e como os resultados se sustentam se essas suposições não forem atendidas. Por exemplo, se os resultados dependem de certas condições, elas devem ser discutidas. Além disso, reflita sobre como as afirmações feitas podem ser limitadas com base nos conjuntos de dados ou experimentos realizados.

Você também deve considerar quais fatores impactam o desempenho da abordagem. Por exemplo, um sistema pode não funcionar bem com baixa qualidade de imagem ou pouca iluminação. Discuta a eficiência dos métodos propostos e como o desempenho pode mudar com diferentes tamanhos de conjuntos de dados.

Ética e Impacto Social

A honestidade é vital ao abordar limitações. Os revisores não vão te penalizar por ser transparente sobre as falhas. Se você indicar que seu trabalho não tem impacto social, forneça uma explicação clara.

Discuta qualquer possível consequência negativa, incluindo mau uso da tecnologia, questões de justiça ou preocupações com privacidade. Se houver riscos, mencione quaisquer estratégias que você considere para mitigação, como monitorar o uso ou limitar o acesso à tecnologia potencialmente prejudicial.

Acesso ao Código e Dados

Se seu artigo não incluir experimentos, você pode responder "NA". No entanto, se incluir experiências, é crucial fornecer um meio para que outros reproduzam seus resultados. Isso pode ser por meio do compartilhamento do código e dos dados, ou dando instruções detalhadas sobre como replicar suas descobertas.

Você deve indicar como acessar os dados brutos, pré-processados e gerados. Se apenas alguns experimentos forem replicáveis, especifique quais não são e por quê. Enquanto é encorajado liberar código e dados, não é obrigatório a menos que seja fundamental para a contribuição.

Configurações Experimentais

Para artigos que incluam experimentos, você precisa apresentar a configuração experimental em detalhes suficientes para que os leitores entendam os resultados. Se o artigo não envolver experimentos, responda "NA". Se envolver, forneça todos os detalhes necessários dentro do artigo principal ou no material suplementar.

Significância Estatística

Se seu artigo contém experimentos, você deve indicar se os resultados têm barras de erro, intervalos de confiança ou testes de significância estatística. Explique qual variabilidade as barras de erro capturam e como você as calculou. Seja claro sobre as suposições envolvidas nesse processo também.

Recursos Computacionais

Detalhe o tipo de recursos computacionais usados, se foram CPUs, GPUs ou serviços em nuvem. Forneça informações sobre quanto poder computacional foi necessário para cada experimento, bem como o total necessário para o projeto de pesquisa. Mencione se experimentos preliminares exigiram mais computação do que aqueles relatados no artigo.

Considerações Éticas

Revise o Código de Ética relacionado à sua pesquisa. Se você não cumprir com o Código, explique os motivos. Se a pesquisa envolve pessoas, informe se você recebeu as aprovações necessárias, como de um Comitê de Ética em Pesquisa (IRB).

Conjuntos de Dados e Ativos

Se seu artigo usar conjuntos de dados existentes, certifique-se de creditar a fonte original e especificar a versão. Indique os termos de licenciamento para cada conjunto de dados ou ativo utilizado. Para quaisquer novos conjuntos de dados criados, discuta como o consentimento foi obtido, se aplicável.

Crowdsourcing e Sujeitos Humanos

Se sua pesquisa envolver crowdsourcing ou sujeitos humanos, forneça informações detalhadas sobre isso no artigo principal. Certifique-se de que os trabalhadores sejam compensados de forma justa por suas contribuições.

Pensamentos Finais

Ser detalhista e honesto ao completar essa lista de verificação é crucial. Os revisores valorizam a transparência e apreciarão seus esforços para garantir práticas de pesquisa responsáveis. Certifique-se de que suas afirmações sejam bem fundamentadas e que quaisquer limitações sejam claramente reconhecidas. Busque clareza nas suas submissões e forneça detalhes suficientes para que outros possam entender e replicar seu trabalho.

Fonte original

Título: Policy Prototyping for LLMs: Pluralistic Alignment via Interactive and Collaborative Policymaking

Resumo: Emerging efforts in AI alignment seek to broaden participation in shaping model behavior by eliciting and integrating collective input into a policy for model finetuning. While pluralistic, these processes are often linear and do not allow participating stakeholders to confirm whether potential outcomes of their contributions are indeed consistent with their intentions. Design prototyping has long advocated for rapid iteration using tight feedback loops of ideation, experimentation, and evaluation to mitigate these issues. We thus propose policy prototyping for LLMs, a new process that draws inspiration from prototyping practices to enable stakeholders to collaboratively and interactively draft LLM policies. Through learnings from a real-world LLM policymaking initiative at an industrial AI lab, we motivate our approach and characterize policy prototyping with four guiding principles. Because policy prototyping emphasizes a contrasting set of priorities compared to previous approaches, we envision our approach to be a valuable addition to the methodological repertoire for pluralistic alignment.

Autores: K. J. Kevin Feng, Inyoung Cheong, Quan Ze Chen, Amy X. Zhang

Última atualização: 2024-09-13 00:00:00

Idioma: English

Fonte URL: https://arxiv.org/abs/2409.08622

Fonte PDF: https://arxiv.org/pdf/2409.08622

Licença: https://creativecommons.org/licenses/by/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.

Mais de autores

Artigos semelhantes