Criptografia de ponta a ponta e moderação de conteúdo: um ato de equilibrar

Os apps de mensagem agora usam criptografia de ponta a ponta (E2EE) como uma característica padrão, tornando as conversas privadas. Embora isso seja um passo positivo para a segurança e privacidade, isso cria desafios para os serviços online que tentam gerenciar conteúdos prejudiciais. Como eles não conseguem ver os dados reais, precisam encontrar novas maneiras de lidar com questões como discurso de ódio, desinformação e outros conteúdos problemáticos.

#O Desafio da Moderação de Conteúdo

Moderação de conteúdo se refere às práticas que os serviços usam para filtrar conteúdos prejudiciais. Com a E2EE, as plataformas não podem acessar mensagens em texto claro, o que complica como elas lidam com essas questões. Este artigo discute várias perspectivas sobre moderação de conteúdo em E2EE e destaca as áreas que precisam de mais pesquisa.

#Preocupações de Políticas Públicas

As discussões políticas em lugares como os EUA e a União Europeia se concentram principalmente na segurança infantil e na desinformação. No entanto, muitos outros assuntos merecem atenção. Uma moderação eficaz requer uma compreensão mais ampla dos vários tipos de conteúdo prejudicial, incluindo spam e malware.

#Entendendo a Criptografia de Ponta a Ponta

A E2EE protege os dados garantindo que apenas o remetente e o destinatário consigam ler as mensagens. Isso significa que nem mesmo o provedor do serviço pode ver o conteúdo. Embora isso proteja os usuários de ameaças externas, também limita a capacidade de um serviço de lidar com conteúdos problemáticos.

#Principais Características da E2EE

1. Confidencialidade: O serviço não pode ler mensagens, garantindo privacidade.
2. Integridade: Os destinatários podem verificar se as mensagens não foram alteradas.
3. Autenticação: Remetentes e receptores podem confirmar as identidades uns dos outros.

#O Impacto da E2EE na Moderação de Conteúdo

A E2EE oferece privacidade, mas também protege conteúdos prejudiciais da Detecção. Por exemplo, se alguém compartilhar material de abuso infantil através de um serviço E2EE, a plataforma não consegue encontrar ou bloquear esse conteúdo sem alguma intervenção. O desafio está em desenvolver métodos de detecção que respeitem a privacidade dos usuários.

#Perspectivas das Forças de Segurança

O aumento da E2EE dificultou a monitorização da atividade online pelas forças de segurança. Eles expressaram preocupações de que estão "ficando no escuro" devido ao uso crescente de criptografia. Isso gerou pedidos por métodos para detectar conteúdos prejudiciais enquanto se mantém a criptografia.

#Métodos de Detecção Existentes

Um método para detectar conteúdos prejudiciais é a correspondência de hash. Isso envolve criar uma impressão digital única para certos conteúdos, como imagens conhecidas de abuso infantil, e então verificar o conteúdo dos usuários contra essa impressão digital. Embora funcione bem para alguns tipos de conteúdo, não pode ser facilmente aplicado em um ambiente E2EE.

#Correspondência de Hash

A correspondência de hash é um sistema que funciona comparando um hash de dados do usuário com uma lista de conteúdos prejudiciais conhecidos. Contudo, esse método não pode ser implementado em ambientes E2EE sem sacrificar a privacidade do usuário.

#Novas Propostas para Moderação

Propostas recentes visam criar exceções onde a moderação poderia ocorrer mesmo em contextos E2EE. Essas propostas incluem sistemas que permitiriam a denúncia seletiva de mídias que coincidam com um determinado conjunto de conteúdos.

#O Debate Sobre Novas Propostas

Alguns envolvidos são cautelosos em relação a esses novos métodos, pois podem levar a violações de privacidade. O receio é que esses sistemas possam se expandir para monitorar mais tipos de conteúdo sob pressão de governos ou opinião pública.

#Sistemizando a Moderação de Conteúdo em E2EE

Neste trabalho, delineamos um processo para moderação de conteúdo em contextos E2EE. Nossa abordagem se baseia em literatura anterior, mas adaptada aos desafios únicos que a E2EE apresenta.

#Modelo de Quatro Partes para Moderação de Conteúdo

1. Contexto do Problema: Identificar o dano social causado por tipos específicos de conteúdo.
2. Detecção: Como encontrar conteúdos prejudiciais enquanto se garante a privacidade do usuário.
3. Resposta: Ações tomadas assim que o conteúdo prejudicial é detectado.
4. Transparência: Permitir que os usuários vejam como as decisões de moderação são tomadas.

#Entendendo o Contexto do Problema

O contexto do problema prepara o terreno para a moderação. Ele define o objetivo, como proteger crianças online ou combater a desinformação. Dependendo do problema, diferentes métodos de detecção e resposta podem se aplicar.

#Métodos de Detecção em E2EE

Encontrar maneiras de detectar conteúdos problemáticos sem comprometer a privacidade do usuário é essencial. Vários métodos foram propostos, cada um com suas próprias forças e fraquezas.

#Correspondência Exata

Sistemas de correspondência exata procuram por conteúdos prejudiciais conhecidos comparando hashes. Embora esse método possa fornecer garantias de privacidade, pode não ser suficiente para ambientes E2EE.

#Hashing Perceptual

Hashing perceptual permite que sistemas detectem conteúdos semelhantes que possam ter sido ligeiramente alterados. Embora isso ajude a pegar conteúdos prejudiciais modificados, também pode resultar em falsos positivos.

#Classificação com Aprendizado de Máquina

O aprendizado de máquina tem sido usado para tentar detectar conteúdo. Esses modelos podem atingir alta precisão, mas podem levar a altas taxas de falsos positivos. É necessário cuidado para garantir que esses sistemas estejam alinhados com os princípios da E2EE.

#Mecanismos de Resposta

Assim que um conteúdo prejudicial é detectado, os serviços precisam decidir como responder. As respostas podem variar desde bloquear o conteúdo até emitir avisos e relatar às autoridades.

#Confidencialidade nas Respostas

Manter a privacidade do usuário nos mecanismos de resposta é crucial. Os sistemas devem garantir que as respostas não revelem dados do usuário sem consentimento.

#Transparência na Moderação de Conteúdo

A transparência é vital para construir confiança entre usuários e serviços. Os usuários devem saber como as decisões de moderação são feitas e entender os sistemas em vigor para detectar conteúdos prejudiciais.

#Verificando o Sistema

Os clientes devem ser capazes de verificar se os serviços estão funcionando como prometido. Isso pode envolver auditorias e relatórios regulares de transparência.

#Conclusão

À medida que a E2EE se torna mais comum, lidar com os desafios da moderação de conteúdo nesses sistemas se torna cada vez mais urgente. Embora haja obstáculos significativos a superar, pesquisas contínuas sobre novos métodos de detecção que respeitem a privacidade dos usuários podem levar a soluções viáveis. O caminho a seguir deve equilibrar segurança e privacidade enquanto permite uma moderação eficaz de conteúdo.

#Direções Futuras

Estudos adicionais devem se concentrar no desenvolvimento de métodos que aprimorem a moderação de conteúdo sem comprometer os princípios fundamentais da criptografia de ponta a ponta. A pesquisa sobre moderação orientada pelo usuário e soluções baseadas na comunidade também pode oferecer caminhos inovadores para enfrentar esses desafios.

Com a abordagem certa, é possível desenvolver sistemas que protejam os usuários enquanto mitigam os riscos associados a conteúdos prejudiciais online. Ao fomentar a colaboração entre pesquisadores, formuladores de políticas e empresas de tecnologia, podemos criar ambientes online mais seguros que respeitem os direitos e a privacidade dos usuários.