Melhorando as Recomendações do LinkedIn para Usuários

O LinkedIn é uma grande rede para profissionais, com mais de 1 bilhão de membros em todo o mundo. Muitos membros usam o LinkedIn pra encontrar oportunidades de trabalho e se conectar com outros profissionais. Pra melhorar a experiência dos usuários, o LinkedIn quer oferecer conteúdo que seja interessante e relevante pra cada membro. Isso requer entender o que cada um gosta e seus interesses.

No LinkedIn, um grupo de engenheiros desenvolveu novas maneiras de melhorar como as recomendações são feitas pros membros. Eles criaram uma estrutura que usa técnicas avançadas de modelagem pra classificar o conteúdo de forma eficaz. Este documento vai cobrir os detalhes dessa estrutura e como ela melhorou o engajamento dos usuários.

#Principais Melhorias

O foco desse trabalho é melhorar os modelos de classificação usados no LinkedIn. Esses modelos determinam quais conteúdos aparecem pros usuários em seus feeds, as recomendações de trabalho que recebem e quais anúncios são exibidos. Aqui estão algumas melhorias importantes que foram feitas:

1. Camada Residual DCN: Uma versão atualizada do modelo existente conhecido como DCNv2 foi introduzida. Essa nova camada inclui recursos de atenção e conexões residuais que ajudam a melhorar a relevância do conteúdo exibido.

2. Camada de Calibração Isotônica: Essa camada foi projetada pra garantir que as probabilidades previstas pelos modelos se alinhem bem com os resultados do mundo real. Isso é um aspecto importante pra garantir que as recomendações façam sentido pros usuários.

3. Técnicas de Treino e Compressão: Vários métodos foram introduzidos pra treinar e comprimir modelos de forma eficiente. Isso permite um processamento mais rápido e a capacidade de servir grandes modelos em produção de forma eficaz.

4. Insights de Testes A/B: Vários testes foram realizados pra medir o desempenho desses modelos. Os resultados mostraram melhorias significativas em várias métricas, como sessões de membros no feed, inscrições em empregos e taxas de cliques em anúncios.

#Como os Modelos Funcionam

#Coleta de Dados

Pra criar recomendações eficazes, o LinkedIn coleta muitos dados sobre as interações dos membros na plataforma. Isso inclui curtidas, comentários, compartilhamentos e inscrições em empregos. Analisando esses dados, a plataforma aprende mais sobre as preferências e comportamentos dos membros.

#Arquitetura do Modelo

O modelo usa uma combinação de diferentes componentes que trabalham juntos. Aqui estão alguns componentes que fazem parte da estrutura geral:

• Tabelas de Embedding: Essas tabelas são usadas pra representar diferentes características. No caso do LinkedIn, as características podem incluir IDs de membros, cargos, habilidades e empresas. Essas tabelas ajudam a tornar as conexões entre diferentes itens mais eficientes.

• Aprendizado Multitarefa: Essa técnica permite que o modelo aprenda diferentes tarefas simultaneamente, como prever inscrições em empregos e cliques em anúncios. Isso é benéfico, pois ajuda o modelo a aproveitar informações de várias tarefas, melhorando o desempenho geral.

• Mecanismos de Atenção: Ao incorporar elementos que ajudam o modelo a focar em características importantes, os mecanismos de atenção ajudam a entender quais partes dos dados são mais relevantes.

#Treinamento e Otimização

Pra garantir que os modelos sejam eficazes, eles passam por um rigoroso processo de treinamento. Aqui estão algumas estratégias que foram empregadas:

• Quantização: Essa técnica reduz o tamanho do modelo usando menos bits pra armazenar os pesos do modelo. Isso é crucial pra gerenciar memória e capacidades de processamento, especialmente ao lidar com grandes conjuntos de dados.

• Compressão de Vocabulário: Recursos categóricos esparsos de alta dimensão podem ocupar muita memória. Ao implementar métodos que reduzem esse tamanho, o LinkedIn consegue gerenciar seus recursos de forma eficiente.

• Aprendizado Incremental: À medida que novos dados chegam, o modelo pode se adaptar atualizando sem esquecer o que já aprendeu. Isso é importante pra se manter relevante em um ambiente que muda rapidamente.

#Métricas de Desempenho

Na avaliação dos novos modelos, várias métricas chave foram monitoradas:

• Sessões de Membros: Um aumento de 0,5% no número de sessões onde os membros interagiram com o conteúdo no feed foi alcançado.

• Inscrições em Empregos: Houve um aumento de 1,76% nas inscrições qualificadas em empregos devido a melhores recomendações.

• Taxas de Cliques: Os anúncios tiveram um aumento significativo de 4,3% nas taxas de cliques graças ao aprimoramento da segmentação.

Essas melhorias mostraram que os novos modelos de classificação são eficazes em melhorar a experiência geral do usuário no LinkedIn.

#Desafios Técnicos

O desenvolvimento e a implantação desses modelos não vieram sem desafios. Alguns problemas encontrados incluíram:

• Divergência no Treinamento do Modelo: Em experimentos iniciais, alguns modelos começaram a se comportar de forma imprevisível durante o treinamento. Ajustar os parâmetros de treinamento ajudou a estabilizar isso.

• Recursos Computacionais: Lidar com grandes conjuntos de dados requer um poder computacional significativo. Otimizar os processos de treinamento permitiu uma melhor gestão de recursos e tempos de treinamento mais rápidos.

• Integração em Produção: Garantir que os modelos possam rodar efetivamente em um ambiente ao vivo apresenta seu próprio conjunto de obstáculos. Monitoramento constante e ajustes são necessários pra manter o desempenho.

#Conclusão

Em conclusão, o trabalho feito pra melhorar os modelos de classificação do LinkedIn levou a ganhos notáveis em engajamento e satisfação dos usuários. As abordagens inovadoras de treinamento de modelo, manuseio de dados e implantação estabeleceram uma base sólida para desenvolvimentos futuros. À medida que a tecnologia continua a evoluir, as maneiras como o LinkedIn aprimora as experiências de seus membros por meio de conteúdo relevante e significativo também vão evoluir. Essas melhorias não só beneficiam o LinkedIn, mas também fornecem insights valiosos pra profissionais da área que buscam melhorar sistemas de recomendação.