Avaliação de Legendas Sintéticas do Instagram para Detecção de Anúncios

Com o aumento das redes sociais, tá cada vez mais necessário identificar conteúdo patrocinado, principalmente em plataformas como o Instagram. Os posts patrocinados deveriam ser claramente marcados pra proteger os consumidores de publicidade enganosa. Mas, coletar dados reais pra treinar modelos que detectem esses posts pode ser difícil e caro. É aí que entra o dado sintético. Usando modelos de linguagem, a gente pode criar posts falsos do Instagram que imitam os reais sem violar a privacidade de ninguém.

Nesse trabalho, a gente analisa quão bem o chatGPT consegue gerar legendas sintéticas pro Instagram com o objetivo de detectar conteúdo patrocinado. Nossas principais perguntas são: Quão realistas podem ser esses posts sintéticos? E será que eles ajudam os modelos treinados a identificar anúncios não divulgados com precisão?

#Objetivos da Pesquisa

Nossa pesquisa foca em dois objetivos principais:

1. Fidelidade: Isso significa que os posts sintéticos devem parecer e ter a vibe das legendas reais do Instagram. Vamos avaliar quão próximos eles estão dos posts reais.

2. Utilidade: Os dados sintéticos devem ser úteis pra treinar modelos a detectar anúncios não divulgados de forma eficaz.

#Métodos

Pra alcançar nossos objetivos, a gente usa o chatGPT pra gerar legendas baseado em diferentes estilos de prompts. Também usamos métodos variados pra avaliar a qualidade dessas legendas.

#Engenharia de Prompts

A gente explora várias tipos de prompts pra gerar legendas sintéticas. Cada prompt inclui instruções pro modelo seguir:

• Prompt Básico: Só as instruções básicas sem exemplos.
• Exemplos Fixos: Esse prompt inclui exemplos específicos de legendas de posts reais.
• Exemplos Aleatórios: Semelhante aos exemplos fixos, mas usa legendas diferentes a cada vez.
• Imitação: Esse prompt pede pro modelo imitar exemplos existentes sem mencionar Instagram especificamente.

#Métricas de Avaliação

Pra avaliar a qualidade das legendas sintéticas, a gente usa diferentes métricas pra medir vários aspectos, como o comprimento das legendas, diversidade de vocabulário e a similaridade de conteúdo.

1. Métricas de Composição de Legendas: Isso inclui comprimento médio das legendas e o número de hashtags e tags de usuários únicas.

2. Métricas Específicas de Conteúdo: Isso mede quantas frases e hashtags comuns se sobrepõem entre legendas sintéticas e reais.

3. Métricas de Similaridade de Embedding: Usa métodos matemáticos pra checar o quão similares são os significados das legendas.

4. Métricas de Rede: Como os posts do Instagram frequentemente mencionam outros usuários e hashtags, a gente analisa quão bem os posts sintéticos imitam a estrutura da rede encontrada nos posts reais.

#Coleta de Dados do Instagram

Pra comparar legendas sintéticas com as reais, a gente usa um grande conjunto de dados de posts do Instagram coletados de vários influenciadores. Esse conjunto contém informações sobre posts patrocinados e não patrocinados, ajudando a gente a avaliar as legendas geradas em relação aos dados reais.

#Configuração Experimental

A gente pretende gerar 1.000 legendas sintéticas pra cada estratégia de prompt. O modelo tá configurado pra produzir essas legendas através da API da OpenAI. A gente se concentra em selecionar a temperatura certa pro modelo garantir os melhores resultados. Uma temperatura mais alta geralmente gera legendas mais diversas, mas se for alta demais pode levar a erros ou conteúdo irrelevante.

#Resultados

#Características das Legendas

No geral, a gente descobriu que as legendas sintéticas geradas pela estratégia de Imitação foram as que mais se aproximaram dos posts reais em termos de comprimento e diversidade. Por outro lado, o Prompt Básico produziu legendas muito simples. Enquanto o método de Imitação teve um vocabulário e diversidade de conteúdo melhores, ainda assim teve dificuldade em capturar a profundidade e variedade observadas em posts reais do Instagram.

#Qualidade do Conteúdo

Mesmo que os posts sintéticos tivessem algumas características realistas, frequentemente faltava frases comuns e o engajamento com a linguagem típica do Instagram era menos eficaz. Essa limitação significa que, embora as legendas pareçam reais à primeira vista, elas muitas vezes não conseguem transmitir as nuances presentes em posts autênticos.

#Análise de Hashtags e Tags de Usuários

A análise mostrou que a maioria das legendas sintéticas carecia de uma variedade rica de hashtags e tags que são comuns em posts reais. Por exemplo, legendas reais geralmente incluem várias hashtags, enquanto as sintéticas frequentemente ficavam aquém. O método de Imitação teve o melhor desempenho, mas ainda assim não conseguiu igualar a frequência encontrada nas legendas genuínas.

#Uso de Emojis

Outra área de interesse foi o uso de emojis. Enquanto as legendas sintéticas geralmente incluíam mais emojis, elas careciam da diversidade de tons de pele presente em posts reais do Instagram. Essa discrepância mostra a necessidade de uma abordagem mais inclusiva na geração de dados.

#Desempenho do Modelo

A gente fez testes pra ver quão bem os modelos conseguiam identificar conteúdo patrocinado usando dados reais e sintéticos. Os modelos foram treinados usando uma regressão logística simples, o que permitiu focar na qualidade dos dados em vez de algoritmos complexos.

#Anúncios Divulgados

Pra detectar anúncios divulgados, os modelos treinados com dados reais tiveram o melhor desempenho. Mas, quando os dados sintéticos foram incluídos, as taxas de precisão e recall melhoraram. Curiosamente, os modelos treinados apenas com dados sintéticos mostraram um equilíbrio na identificação de conteúdo patrocinado.

#Anúncios Não Divulgados

A situação foi diferente pra anúncios não divulgados, onde as taxas de precisão foram baixas em todos os modelos. Surpreendentemente, o Prompt Básico, apesar de suas legendas não realistas, teve uma precisão maior ao detectar esse tipo de conteúdo. Esse resultado sugere que dados sintéticos, mesmo que menos realistas, podem ter características únicas que os modelos podem aproveitar pra detecção.

#Discussão

A pesquisa destaca o conflito entre criar conjuntos de dados sintéticos que imitam os reais e a necessidade desses conjuntos ajudarem a melhorar o desempenho dos modelos. Nossos achados sugerem que legendas sintéticas poderiam ser úteis, mas frequentemente perdem as variações complexas encontradas no conteúdo genuíno.

#Limitações

Enquanto o estudo oferece insights valiosos, há limitações. Os dados sintéticos frequentemente carecem da riqueza do mundo real, indicando que mais trabalho em design de prompts e pós-processamento é necessário. Melhorias nessas áreas poderiam levar a uma melhor autenticidade nos dados sintéticos.

#Conclusão

Esse estudo mostra que, embora o chatGPT consiga gerar legendas sintéticas do Instagram que parecem um pouco realistas, há lacunas significativas na diversidade de conteúdo e representação. Pesquisas futuras devem focar em aprimorar a qualidade das legendas sintéticas, explorando prompts mais avançados e integrando tanto dados reais quanto sintéticos pra melhores resultados na detecção de conteúdo patrocinado.

#Direções Futuras

Olhando pra frente, há várias avenidas pra futuros trabalhos, incluindo testar outros modelos, refinar técnicas de prompts e avaliar conjuntos de dados sintéticos em várias plataformas de redes sociais. À medida que as redes sociais continuam a evoluir, nossas abordagens pra entender e detectar conteúdo patrocinado também devem evoluir.