Social-LLM: Um Novo Modelo para Análise de Redes Sociais

O crescimento das redes sociais abriu várias maneiras de estudar como as pessoas se comportam online. Agora dá pra olhar de perto como as pessoas interagem, compartilham informações e se influenciam, tudo baseado nos dados das redes sociais. Mas lidar com um monte de dados de redes sociais pode ser complicado. Enquanto grandes modelos de linguagem conseguem lidar bem com conteúdo de texto, criar modelos para redes sociais que funcionem de forma eficiente é um desafio.

Nesse contexto, a gente apresenta uma nova forma de lidar com dados de redes sociais pra ajudar a identificar usuários de forma mais eficaz. A nossa abordagem mistura interações locais das redes sociais com as forças dos grandes modelos de linguagem. Baseamos nosso modelo na ideia de homofilia nas redes sociais, que significa que as pessoas que estão conectadas em uma rede social costumam ter coisas em comum. Testamos nosso método em sete conjuntos de dados de redes sociais do mundo real, cobrindo uma ampla gama de tópicos e tarefas, mostrando sua capacidade de melhorar a pesquisa sobre como entendemos o comportamento social.

A ascensão das redes sociais nos últimos anos oferece uma ótima oportunidade pros pesquisadores estudarem o comportamento humano a partir de dados reais. Usando dados de redes sociais, os pesquisadores podem acompanhar como opiniões mudam, como tendências de saúde se espalham, como divisões políticas crescem e até como desinformação se espalha. Os dados de redes sociais são compostos por duas partes principais: o conteúdo que as pessoas compartilham e a rede de quem interage com quem, quando e com que frequência. Graças aos avanços em grandes modelos de linguagem, gerenciar a parte de texto dos dados das redes sociais ficou mais fácil. Porém, lidar de forma eficaz com a parte da rede ainda exige métodos especializados que muitas vezes têm dificuldades quando enfrentam grandes quantidades de dados.

Pra resolver esse problema, a gente propõe uma abordagem prática pra modelar grandes dados de redes sociais, focando em interações locais. Nosso método se baseia na ideia de homofilia nas redes sociais. Esse conceito sugere que usuários que estão conectados em uma rede provavelmente compartilham semelhanças. Especificamente, usamos grandes modelos de linguagem pra analisar as descrições dos perfis dos usuários, que podem fornecer insights sobre seus interesses e identidades. Nosso modelo proposto, chamado Social-LLM, é uma expansão de um modelo anterior que foi criado pra detectar tendências políticas com base em Retweets e informações de perfil dos usuários. A gente amplia esse modelo pra funcionar com todos os tipos de interações em redes sociais, tornando-o adequado para aplicações diversas, incluindo a identificação de polarização política, discursos de ódio online e suspensão de contas.

Resumindo, aqui estão os pontos principais das nossas contribuições:

1. Apresentamos o Social-LLM, um modelo flexível que combina conteúdo do usuário com informações de redes sociais para detectar usuários.
2. Avaliamos o Social-LLM em sete conjuntos de dados de redes sociais do mundo real, demonstrando sua eficácia em vários tópicos e tarefas.
3. Destacamos como as incorporações do Social-LLM podem ser usadas para visualização.

#Trabalho Relacionado

Detectar usuários em redes sociais é essencial pra muitas áreas de pesquisa, incluindo a identificação de vieses políticos, a detecção de contas falsas, a sinalização de comportamentos prejudiciais, o reconhecimento de usuários influentes e a avaliação da vulnerabilidade à desinformação. Muitos métodos de Detecção de Usuários examinam características de redes sociais, mas focam apenas em estatísticas simples, como quão central um usuário é na rede, em vez das relações complexas entre usuários.

Ter acesso aos dados de redes sociais pode ser desafiador devido a preocupações com privacidade e limitações técnicas. Embora não possamos controlar quão facilmente esses dados podem ser obtidos, podemos melhorar a forma como os modelamos. Métodos como o aprendizado de representação de gráficos podem capturar informações importantes das redes sociais, mas geralmente exigem muito poder de computação e recursos. O tamanho imenso dos dados de redes sociais pode ultrapassar o que muitos dispositivos conseguem lidar, dificultando a execução eficaz desses métodos.

Na nossa abordagem, mantemos os dados de redes sociais mas simplificamos nossa modelagem considerando apenas as relações de primeiro grau-basicamente, apenas observando as conexões diretas entre usuários. Demonstramos que essa abordagem pode ser suficiente pra detecção de usuários em redes sociais sem precisar depender de métodos mais complexos e pesados.

O Social-LLM aproveita dados das interações dos usuários, junto com informações dos perfis dos usuários. Esse modelo é diferente de métodos semelhantes como TIMME e GEM, que também usam dados de redes sociais, mas não conseguem trabalhar com novos usuários que não faziam parte do conjunto de treinamento original. Em contraste, o Social-LLM pode ser aplicado a usuários que não vimos antes, desde que tenhamos as informações de conteúdo deles.

#Cues de Conteúdo e Rede

No nosso modelo, usamos dois tipos principais de informações: cues de conteúdo e cues de rede.

#Cues de Conteúdo

Os cues de conteúdo vêm do que os usuários compartilham nas redes sociais, principalmente das descrições dos perfis deles. Esses perfis são como biografias curtas onde os usuários compartilham coisas essenciais sobre si mesmos. Essas descrições costumam conter detalhes pessoais importantes, como interesses, papéis e crenças. Como são limitados a 160 caracteres, os usuários tendem a ser concisos e destacar informações chave sobre si. Estudar perfis do Twitter em vez de todos os tweets facilita a gestão do problema e reduz a necessidade de coleta de dados extensa. Junto com as descrições dos perfis, também podemos olhar pra outros metadados, como contagem de seguidores e datas de criação de conta.

#Cues de Rede

As plataformas de redes sociais oferecem muitas maneiras pros usuários interagirem, como através de seguir, curtir ou compartilhar posts. Essas interações formam uma rede. No Twitter, podemos coletar diferentes tipos de interações, incluindo retweetar (compartilhar o tweet de outro usuário) e mencionar (referir-se a outro usuário em um tweet). Embora seguir alguém seja uma indicação importante de interação, muitas vezes não é usado em pesquisas devido a limitações de API. Portanto, focamos em retweets e Menções no nosso trabalho. Retweetar geralmente significa apoio ao conteúdo original, enquanto mencionar pode ser usado pra crítica ou engajamento.

#Estrutura do Social-LLM

Treinamos nosso modelo, Social-LLM, pra aprender representações de usuários de forma que agrupe usuários similares com base nas interações deles. Uma vez treinado, podemos usar esse modelo pra analisar o conteúdo de qualquer usuário e obter suas incorporações, que os representam de um jeito significativo que pode ser usado pra várias tarefas.

#Módulo de Representação de Usuário

O módulo de representação de usuários pega um grande modelo de linguagem pré-treinado e aplica a descrições de perfil dos usuários. Esse modelo pode ser ajustado pra melhorar o desempenho. Se dados adicionais de usuários ou incorporações de tweets estiverem disponíveis, eles são processados através de várias camadas antes de serem combinados em uma única representação pra cada usuário.

#Treinamento Não Supervisionado

Empregamos uma arquitetura Siamese semelhante ao Sentence-BERT pra treinar. Nessa configuração, inserimos pares de usuários que estão conectados por interações sociais. Nosso objetivo é fazer as representações dos usuários conectados serem o mais similares possível. Pra alcançar isso, otimizamos a similaridade cosseno das incorporações deles. Consideramos múltiplos tipos de conexões-como retweets e menções-e também levamos em conta a direção, já que retweetar do usuário A pro usuário B não é a mesma coisa que o oposto.

#Perda de Classificação com Múltiplos Negativos

Pra treinar o modelo, usamos uma função de perda de classificação que compara exemplos positivos (usuários conectados) com exemplos negativos (usuários não conectados). Todos os pares de usuários conectados na rede são tratados como positivos, enquanto todos os pares não conectados servem como negativos. Usamos uma técnica chamada perda de múltiplos negativos pra acelerar o treinamento, onde conexões no mesmo lote servem como negativos. Isso ajuda o modelo a aprender melhor, já que incentiva as conexões a terem representações similares.

#Aplicação em Tarefas Finais

Uma vez treinado, o Social-LLM produz representações úteis de usuários que podem ser aplicadas a várias tarefas de previsão de usuários. Podemos ajustar ainda mais o modelo ou adicionar camadas específicas pra tarefas diferentes, permitindo versatilidade na aplicação.

#Vantagens e Desvantagens

O Social-LLM se baseia em métodos anteriores de detecção de usuários ao adicionar elementos de rede social. Existem benefícios notáveis:

1. Facilidade de Treinamento: O processo de treinamento é rápido e consegue lidar com grandes conjuntos de dados de forma eficiente, já que focamos apenas nas arestas e não precisamos treinar na rede completa.
2. Capacidades Indutivas: O Social-LLM pode produzir representações para qualquer novo usuário, confiando apenas no conteúdo deles sem precisar de re-treinamento adicional.
3. Reutilizabilidade: O modelo pode ser reutilizado pra diferentes aplicações, mantendo as incorporações aprendidas em várias tarefas.

Embora vantajoso, o Social-LLM também tem algumas desvantagens. Ao focar em conexões de primeiro grau, podemos perder informações úteis de estruturas de rede maiores. No entanto, em muitas tarefas de detecção de usuários, usar apenas conexões localizadas pode ainda melhorar o desempenho em comparação com modelos que ignoram redes sociais completamente.

#Visão Geral do Conjunto de Dados

Pra validar nossa abordagem, usamos vários conjuntos de dados. Os primeiros dois foram usados em outro modelo focado em tendências políticas, com perfis e informações de retweet pra prever as afiliações políticas dos usuários. Introduzimos conjuntos de dados adicionais com metadados variados de usuários e características de rede, mostrando uma gama de rótulos e métodos de previsão pra destacar a robustez da nossa abordagem.

#Política COVID

A pandemia de COVID-19 impactou drasticamente as conversas globais online. Pesquisas indicam que a politização em torno da pandemia afetou as discussões. Nosso conjunto de dados inclui tweets de janeiro a julho de 2020 e envolve prever as afiliações políticas dos usuários. Temos dados de cerca de 78.672 usuários rotulados com 180.928 interações de retweet, mostrando uma parte significativa inclinada pra esquerda.

#Eleição Presidencial dos EUA em 2020

Esse conjunto de dados inclui tweets sobre a eleição presidencial dos EUA de 2020, permitindo previsões políticas semelhantes. Contém cerca de 2,8 milhões de interações de retweet e uma distribuição igual de usuários inclinados à direita e à esquerda.

#Moralidade COVID

Expandimos nossa pesquisa sobre COVID-19 pra incluir valores morais, coletando dados de fevereiro de 2020 a outubro de 2021. Nossa tarefa é prever as fundações morais dos usuários. O conjunto de dados inclui metadados de usuários e interações baseadas em retweets e menções.

#Contas Suspensas de Ucrânia-Rússia

Durante a guerra Ucrânia-Rússia, a desinformação se espalhou amplamente nas redes sociais. Esse conjunto de dados reuniu tweets durante março de 2022 e busca prever se os usuários foram suspensos do Twitter com base na atividade deles.

#Ódio Ucrânia-Rússia

Construindo sobre o conjunto de dados anterior, esse se foca em detectar níveis de toxicidade dos usuários durante o conflito. Analisamos tweets quanto à toxicidade usando uma API estabelecida, fornecendo insights sobre o comportamento dos usuários.

#Ódio à Imigração

Esse conjunto de dados foca em discursos de ódio sobre imigração, usando tweets históricos de usuários específicos conhecidos por postarem comentários intolerantes. Coletamos tweets adicionais pra expandir esse conjunto de dados e examinamos a toxicidade de maneira semelhante aos conjuntos de dados anteriores.

#Configuração Experimental

Conduzimos uma série de experimentos pra avaliar nosso método contra várias abordagens de referência, comparando o desempenho na detecção de usuários. Usamos um procedimento consistente de treinamento e teste em todos os conjuntos de dados. As tarefas são avaliadas usando métricas específicas, garantindo uma avaliação rigorosa das capacidades do Social-LLM.

#Métodos de Referência

Pra fornecer uma comparação justa, utilizamos métodos de referência de ponta divididos em três categorias: métodos baseados em conteúdo, métodos baseados em rede e métodos híbridos. Cada um oferece uma alternativa às incorporações de usuários pra avaliação.

#Métodos Baseados em Conteúdo

Pros métodos baseados em conteúdo, exploramos principalmente incorporações de grandes modelos de linguagem pré-treinados. Embora também ajustemos esses modelos pra tarefas específicas, testes iniciais indicaram que o desempenho base seria suficiente pras nossas necessidades.

#Métodos Baseados em Rede

Incorporamos dois métodos baseados em rede, node2vec e ProNE, pra avaliação. Esses métodos permitem examinar as relações dos usuários com base apenas nas interações deles, oferecendo insights sobre a utilidade das características da rede.

#Método Híbrido

TIMME serve como nossa linha de base de método híbrido. Inicialmente projetado pra classificação de usuários, o modificamos pra lidar com tarefas de regressão, permitindo avaliar seu desempenho ao lado do nosso modelo.

#Resultados

Nossos experimentos demonstram a eficácia do Social-LLM em vários conjuntos de dados quando comparado a esses modelos de referência. Analisamos os resultados e tiramos conclusões sobre as melhores estratégias dentro de cada família de métodos.

#Experimento 1: Escolha de LLMs

Começamos experimentando diferentes grandes modelos de linguagem pra identificar a melhor opção de desempenho pras nossas tarefas. Nossos achados destacam que um modelo específico se destaca consistentemente em relação aos outros em vários conjuntos de dados.

#Experimento 2: Experimentos Principais

Nos nossos experimentos principais, comparamos o Social-LLM com os melhores métodos de referência. Os resultados mostram que nosso modelo geralmente obteve melhores resultados em várias tarefas, demonstrando sua confiabilidade e eficácia.

#Experimento 3: Ablação de Tipo de Aresta

Exploramos o impacto de usar diferentes tipos de arestas-retweets e menções-no desempenho. Nossos resultados sugerem que, embora usar ambos os tipos possa ser benéfico, às vezes tratá-los como um único tipo de aresta resulta em melhores resultados.

#Experimento 4: Pesos e Direções de Arestas

Avalíamos o impacto de adicionar pesos e direcionalidade aos nossos tipos de arestas. Os resultados indicam que incluir a direção melhora o desempenho, enfatizando a importância de entender o fluxo de interações entre usuários.

#Experimento 5: Incorporando Tweet Embeddings dos Usuários

Para o conjunto de dados Ukr-Rus-Suspended, exploramos como incorporar as incorporações de tweets dos usuários afeta o desempenho. Nossos achados sugerem que integrar essa informação pode levar a uma melhoria.

#Experimento 6: Sensibilidade ao Tamanho das Dimensões

Finalmente, analisamos como o tamanho das dimensões das incorporações afeta o desempenho. Nossas observações indicam que dimensões maiores geralmente resultam em melhores resultados, embora dimensões menores ainda proporcionem resultados satisfatórios.

#Visualização das Incorporações do Social-LLM

Também destacamos a utilidade das incorporações do Social-LLM pra visualizar dinâmicas de redes sociais. Usando técnicas como TSNE, podemos representar visualmente as relações e diferenças entre os usuários, fornecendo insights valiosos sobre as estruturas subjacentes das redes sociais.

#Conclusão

Neste trabalho, apresentamos o Social-LLM como um método escalável e eficaz pra modelar dados de redes sociais. Combinando informações de conteúdo do usuário de perfis com dados de interações das redes sociais, conseguimos criar uma ferramenta poderosa pra detecção e análise de usuários. A avaliação do nosso modelo em diversos conjuntos de dados demonstrou suas vantagens em relação a métodos tradicionais que dependem apenas de características de conteúdo ou de rede. Notavelmente, uma vez treinado, o Social-LLM pode ser aplicado a muitas tarefas com novos usuários, destacando sua eficiência e ampla aplicabilidade.

Ao focar na proximidade de primeiro grau e utilizar dados de retweet e menção de forma eficaz, nossa abordagem provou ser robusta e adaptável pra análise de redes sociais do mundo real. Também mostramos que integrar incorporações de tweets dos usuários pode melhorar o desempenho. No geral, o Social-LLM oferece uma estrutura valiosa pra estudar o comportamento do usuário em redes sociais, abrindo caminho pra futuras pesquisas em ciência social computacional.