Abordando Promoções Inapropriadas em Jogos Gerados por Usuários

Jogos online criados por usuários (UGCGs) ficaram super populares, especialmente entre crianças e adolescentes. Esses jogos oferecem maneiras divertidas de socializar e ser criativo online. Mas tem um problema sério: alguns deles promovem Conteúdos ruins e explícitos nas redes sociais. Isso pode expor os jovens a imagens nocivas, o que gera questões de segurança bem sérias. Apesar dessas preocupações, não foi feita muita pesquisa sobre como essas promoções prejudiciais funcionam.

Neste artigo, focamos no desafio da promoção inapropriada de UGCGs inseguros. Reunimos uma coleção de imagens que mostram conteúdo sexual e violento relacionado a esses jogos. Descobrimos que muitas dessas imagens promocionais são capturas de tela diretas dos próprios jogos. Isso mostra que há uma necessidade clara de sistemas melhores para sinalizar automaticamente essas promoções inseguras.

Criamos um novo sistema projetado para ajudar plataformas de redes sociais a identificar imagens prejudiciais usadas para promover UGCGs inseguros. Nosso sistema utiliza modelos avançados que combinam visão e linguagem para detectar essas imagens de forma eficaz. Com uma taxa de precisão de 94%, nosso sistema supera significativamente as ferramentas existentes disponíveis para esse propósito.

#A Ascensão dos Jogos de Conteúdo Gerado por Usuários

Os jogos online de conteúdo gerado por usuários ganharam destaque nos últimos anos. Esses jogos permitem que os jogadores criem suas próprias experiências de jogo e as compartilhem com outros. Plataformas como o Roblox permitiram que uma variedade enorme de criadores desenhassem jogos envolventes que atraem milhões de usuários, especialmente crianças. Dados mostram que uma parte significativa dos usuários do Roblox tem menos de 16 anos, com muitos sendo ainda mais novos.

Para ganhar jogadores, os criadores costumam usar plataformas de redes sociais como X (anteriormente Twitter), Reddit e Discord para compartilhar imagens ou vídeos promocionais. Embora essa estratégia ajude a alcançar mais usuários, também traz o risco de expor crianças a conteúdos nocivos. Infelizmente, alguns criadores de jogos exploraram essa oportunidade para promover jogos cheios de imagens explícitas e violência, representando sérias ameaças para o público jovem.

#O Desafio de Moderar Conteúdo

Moderar conteúdo em UGCGs é um assunto em discussão constante, mas os esforços de Moderação estão, em grande parte, focados no que acontece dentro dos jogos. Pouca atenção foi dada à promoção desses jogos através de imagens nas redes sociais. Criadores de jogos frequentemente compartilham conteúdo promocional que pode parecer inocente, mas pode ser Prejudicial.

As ferramentas de moderação atuais, como Google Cloud Vision, Clarifai e Amazon Rekognition, usam tecnologia para detectar conteúdo prejudicial. No entanto, elas costumam ter dificuldades em identificar imagens inapropriadas relacionadas a UGCGs. Modelos tradicionais de aprendizado de máquina dependem de grandes conjuntos de dados para aprender o que é considerado inseguro, mas reunir esses conjuntos de dados para UGCGs é desafiador devido aos estilos e personagens únicos usados nesses jogos.

#Coleta de Dados e Análise

Para entender a extensão das promoções de imagens inadequadas em UGCGs, coletamos um conjunto de dados real de imagens. Esse conjunto inclui 2.924 imagens que retratam conteúdo sexualmente explícito e violento. Usamos palavras-chave retiradas de histórias compartilhadas por pais e crianças para encontrar imagens relevantes.

Através da nossa análise, descobrimos que muitas dessas imagens promocionais são, na verdade, capturas de tela dos UGCGs. Isso mostra a necessidade de estratégias de moderação mais robustas. Além disso, nossos testes mostraram que as ferramentas de Detecção atuais têm um desempenho ruim quando se trata de identificar imagens relacionadas a UGCGs, revelando lacunas significativas em sua eficácia.

#Apresentando Nosso Sistema de Detecção

Para enfrentar esses desafios, desenvolvemos um sistema inovador projetado especificamente para detectar imagens prejudiciais ligadas a promoções de UGCGs. Nosso sistema usa modelos avançados de visão-linguagem (VLMs) e um novo método chamado "prompting condicional" para melhor precisão. Essa abordagem permite que nosso modelo aprenda e se adapte sem precisar de dados extensivos de treinamento.

Nosso sistema é capaz de identificar imagens promocionais ilícitas com uma precisão impressionante. Ele utiliza raciocínio contextual para entender o que está acontecendo dentro de uma imagem, permitindo assim sinalizar conteúdo prejudicial de forma eficaz.

#A Natureza das Imagens Promocionais de UGCGs

As imagens promocionais usadas pelos criadores de UGCGs diferem significativamente das promoções de jogos tradicionais. Em vez de gráficos profissionalmente desenhados, a maioria das promoções de UGCG consiste em capturas de tela simples tiradas diretamente dos jogos. Nossa análise confirmou que aproximadamente 97,8% das imagens promocionais amostradas eram capturas de tela.

Isso significa que as imagens se misturam perfeitamente com a plataforma, dificultando a identificação de quais são prejudiciais. Esse problema destaca a necessidade urgente de ferramentas de moderação melhoradas para reconhecer e sinalizar essas promoções problemáticas.

#Limitações dos Sistemas de Detecção Existentes

Investigamos o quão bem os sistemas de detecção existentes podem identificar imagens prejudiciais de UGCG. Isso envolveu avaliar ferramentas amplamente utilizadas como Google Vision AI e outras. Embora esses sistemas sejam eficazes em reconhecer conteúdo inseguro tradicional, eles têm um desempenho significativamente inferior quando se trata de detectar imagens relacionadas a UGCGs.

Essa falta de eficácia surge dos elementos visuais distintos encontrados em UGCGs em comparação com imagens do mundo real ou animadas. Devido a essa disparidade, existe uma grande lacuna na moderação do conteúdo único produzido nesses jogos, resultando em uma necessidade urgente de métodos de detecção especializados.

#Nossa Estrutura para Moderação

Ao desenvolver nosso sistema de detecção, implementamos uma estrutura que inclui vários componentes-chave:

1. Coleta e Anotação de Dados: Compilamos um conjunto de dados de imagens ligadas a promoções ilícitas de UGCG e realizamos anotações sistemáticas.

2. Detecção Baseada em VLM: Utilizando grandes VLMs, implementamos uma estratégia de prompting condicional para adaptar nosso modelo às características únicas das imagens de UGCG.

3. Moderação de Conteúdo: Nosso sistema processa imagens e determina se elas contêm conteúdo inseguro, emitindo avisos conforme necessário.

A estrutura foi projetada para funcionar de forma eficaz em ambientes de redes sociais no mundo real, permitindo uma moderação eficiente do conteúdo promocional.

#Implementação e Avaliação

Utilizamos um sistema de computação de alto desempenho para implementar nossa estrutura de detecção. Nossos testes compararam seu desempenho com detectores de linha de base existentes. Os resultados revelaram que nosso sistema superou essas ferramentas tradicionais em termos de precisão e exatidão.

Nossa avaliação confirmou que nossa estrutura não só se destaca em identificar imagens ilícitas de UGCG, mas também tem potencial para aplicações mais amplas na moderação de conteúdo em diversas plataformas online.

#A Importância da Identificação Contextual

Uma parte crítica do nosso sistema é sua capacidade de realizar identificação contextual. Isso inclui elaborar perguntas específicas para o VLM sobre o conteúdo das imagens. Por exemplo, perguntas podem abordar se os personagens na imagem estão envolvidos em atividades sexuais ou mostrando violência. Esse raciocínio estruturado permite que o modelo chegue a conclusões informadas sobre a segurança de uma imagem.

Nossas avaliações mostram que esse método aumenta significativamente as taxas de detecção. Ao integrar perguntas contextuais, criamos uma abordagem mais completa para identificar conteúdo prejudicial.

#Realizando Experimentos em Situações da Vida Real

Em um experimento, testamos nossa estrutura em imagens coletadas do Reddit e Discord, simulando situações do mundo real. Descobrimos que nosso sistema identificou de maneira eficaz imagens inseguras de UGCG, demonstrando a generalizabilidade e adaptabilidade do nosso modelo.

Em comparação com ferramentas tradicionais, nossa estrutura teve um desempenho consistentemente melhor em conjuntos de dados variados. Isso destaca seu potencial para aplicações no mundo real na moderação de conteúdo prejudicial nas plataformas de redes sociais.

#Desafios e Considerações Éticas

Embora nosso estudo forneça insights valiosos, é importante reconhecer suas limitações. Por exemplo, nosso conjunto de dados consistiu principalmente de conteúdo em inglês, o que pode ignorar promoções inseguras de plataformas não-inglesas.

Além disso, focamos apenas em UGCGs dentro do Roblox, excluindo outras plataformas que também podem representar riscos similares. Expandir a pesquisa para incluir diversas linguagens e plataformas de jogos poderia melhorar nossa compreensão desses problemas.

Durante todo o estudo, seguimos diretrizes éticas. Os processos de coleta de dados foram aprovados e garantimos a anonimidade dos usuários envolvidos no conjunto de dados.

#Conclusão e Direções Futuras

Em resumo, iniciamos uma análise abrangente das promoções ilícitas de UGCGs inseguros. Nossos achados destacam a necessidade urgente de ferramentas de moderação melhoradas para proteger o público jovem de conteúdo prejudicial. Nosso novo sistema de detecção demonstra avanços significativos em relação aos métodos existentes, alcançando uma precisão impressionante de 94%.

Olhando para o futuro, planejamos estender nossa estrutura além da moderação de imagens. Isso inclui explorar a moderação de conteúdo dentro dos próprios jogos e adaptar nossas abordagens para tecnologias emergentes como a realidade virtual. Garantir a segurança dos espaços online, especialmente para usuários mais jovens, continua sendo nosso principal objetivo.