Aproveitando Modelos de Linguagem para Insights em ESG

Fatores Ambientais, Sociais e de Governança (ESG) são super importantes pra negócios e como eles funcionam. Nos últimos anos, muitas empresas perceberam que se focarem nessas questões, podem se dar bem no longo prazo. Boas práticas de ESG podem levar a resultados financeiros melhores. Estudos mostram que empresas com estratégias de ESG fortes costumam ter um desempenho financeiro melhor. Por isso, conhecer e aplicar os princípios de ESG é essencial pra quem quer se manter forte e sustentável.

#O Papel do Processamento de Linguagem Natural no ESG

Processamento de Linguagem Natural (NLP) é uma ferramenta que ajuda a analisar dados textuais. É bem útil pra lidar com informações de ESG. Usando NLP, a gente consegue olhar pra uma grande quantidade de material escrito, tipo artigos de notícias, e ter uma ideia melhor de como as empresas estão se saindo nas suas iniciativas de ESG. Esse método permite reunir insights sobre o impacto das empresas na sociedade a partir do desempenho delas em ESG.

Animados com essas vantagens, um grupo de pesquisadores participou de uma competição chamada FinNLP-2023. O objetivo era classificar artigos de notícias sobre questões de ESG com base em diretrizes específicas. A equipe focou em dois idiomas: inglês e francês.

#A Tarefa Compartilhada: Identificação Multilíngue de Questões ESG

A competição tinha como meta classificar artigos de notícias relacionados a ESG em 35 questões principais, conforme algumas diretrizes. O conjunto de dados usado incluía artigos em inglês e francês, totalizando 1.119 artigos de treinamento em inglês e 1.200 em francês. Também tinha 300 artigos de teste pra cada idioma. O objetivo principal era encontrar os melhores Modelos que conseguissem identificar essas questões nos artigos.

#Nossa Abordagem para Classificação de ESG

O objetivo principal era criar um modelo forte que funcionasse bem com dados limitados. Como a tarefa tinha apenas uma amostra pequena e uma distribuição desigual de rótulos, treinar diretamente nos dados disponíveis não era suficiente. Pra melhorar a situação, a equipe usou três modelos de linguagem conhecidos: Pythia, CerebrasGPT e OPT. Eles escolheram versões menores desses modelos pra lidar com as limitações computacionais.

Pra aumentar a quantidade de dados disponíveis, eles usaram uma técnica chamada GPT3Mix. Essa abordagem gera amostras de texto adicionais com base nos artigos existentes, permitindo criar um conjunto de treinamento maior. As descrições das questões de ESG foram incluídas pra garantir que os novos dados combinassem com os temas exigidos.

#Classificação zero-shot

A tarefa incluía duas subtarefas em inglês e francês, e cada uma tinha 35 categorias de classificação. Porém, definir os limites dessas categorias era desafiador quando se dependia apenas dos dados de treinamento. Pra resolver isso, eles usaram classificação zero-shot. Esse método usou artigos de notícias coletados na internet, garantindo que nenhum artigo já visto anteriormente influenciasse a classificação.

Pra enriquecer ainda mais o treinamento, eles traduziram os artigos em inglês pro francês usando um serviço de tradução. Isso forneceu dados adicionais pra treinar os modelos de forma eficaz.

#Experimentação e Resultados

Os pesquisadores realizaram seus experimentos em duas fases. A primeira focou em identificar os modelos mais eficazes. Na segunda, eles tentaram combinar suas descobertas pra criar um modelo de alto desempenho.

Na primeira fase, testaram vários modelos de linguagem conhecidos, incluindo alguns que foram projetados especialmente pra texto financeiro. Eles também incluíram modelos que pudessem lidar com tarefas em inglês e francês. Pra garantir uma avaliação justa, usaram um método de amostragem especial pra criar um conjunto de validação. Focaram na pontuação F1 ponderada pra medir o desempenho, descartando qualquer modelo que ficasse abaixo de um certo limite.

Nessa rodada inicial de experimentos, descobriram que aumentar os dados resultou em resultados melhores. Os melhores modelos treinados com dados aumentados se saíram bem melhor do que aqueles treinados apenas com o conjunto de dados original.

Pra tarefa em inglês, o modelo chamado "roberta-base-mix" alcançou a maior pontuação. Já pra tarefa em francês, "mdeberta-mix" liderou o desempenho. Isso mostrou que a ampliação de dados foi crucial pra melhorar o desempenho do modelo.

#Foco na Segunda Experiência

A segunda fase de experimentação tinha como objetivo explorar mais o impacto do tamanho do modelo e a robustez. Eles compararam versões menores e maiores dos modelos de sucesso da primeira experiência.

Os resultados indicaram que modelos maiores geralmente se saíam melhor do que os menores, oferecendo resultados de classificação mais consistentes. Os pesquisadores também perceberam que os modelos encontravam dificuldades pra prever certas categorias, especialmente quando lidavam com menos exemplos.

Pra resolver esses problemas, ajustaram os conjuntos de dados pra incluir mais exemplos de rótulos desafiadores, melhorando as habilidades do modelo.

#Integração de Dados e Técnicas de Conjunto

Na pesquisa, a equipe buscou melhorar a classificação de questões ESG usando vários conjuntos de dados e modelos. Eles experimentaram diferentes combinações de dados e modelos diversos pra encontrar a configuração ideal.

Enquanto conjuntos de dados mistos mostraram alguns bons resultados, não superaram aqueles treinados exclusivamente com dados traduzidos. Ficou claro que usar fontes de dados diversas podia, às vezes, adicionar ruído, prejudicando o desempenho. Por isso, a equipe descobriu que combinar previsões de vários modelos era benéfico.

Pra tarefa em inglês, implementaram um método chamado votação hard, onde combinaram saídas dos modelos com as maiores pontuações. Essa estratégia trouxe o melhor desempenho geral, com pontuações impressionantes tanto nos conjuntos de validação quanto de teste.

#Conclusão

Nesse estudo, a equipe apresentou suas descobertas da competição FinNLP-2023 focada em identificar questões de ESG em vários idiomas. Usando modelos de linguagem avançados e técnicas como ampliação de dados e classificação zero-shot, eles alcançaram resultados notáveis. Terminaram em primeiro lugar na tarefa em inglês e em segundo na tarefa em francês.

A pesquisa não só destaca a eficiência dos modelos de linguagem modernos na classificação de questões de ESG, mas também estabelece a base pra melhorias futuras. Esforços futuros podem envolver a exploração de diferentes tipos de modelos, abordando mais idiomas e usando novas técnicas pra melhorar a precisão da classificação.

Com esses desenvolvimentos, o estudo contribui pra uma melhor compreensão dos tópicos de ESG e enfatiza a importância de aproveitar modelos de linguagem avançados pra identificação eficaz de questões de ESG.