Ligando a Galera dos Especialistas com o Machine Learning

Os sistemas especialistas mostraram resultados fortes em prever resultados em várias áreas. No entanto, às vezes, as previsões feitas por modelos de Aprendizado de Máquina (ML) não combinam com as percepções fornecidas por especialistas do setor. Essa discrepância pode acontecer quando os dados de treinamento usados para esses modelos não representam completamente a situação do mundo real.

Nesta discussão, introduzimos uma nova estrutura projetada para abordar esse problema. O conceito chave é primeiro avaliar quão representativo um novo ponto de dados não rotulado é em comparação com os dados de treinamento, usando um tipo de modelo chamado rede adversarial generativa (GAN). Com base nessa avaliação, ajustamos as previsões feitas pelo modelo de ML levando em conta as percepções dos especialistas. Se o novo ponto de dados for similar aos dados de treinamento, damos menos ênfase ao julgamento do especialista em nossa saída final. Por outro lado, se ele diferir significativamente, damos mais peso à contribuição do especialista.

Testamos nossa estrutura realizando vários experimentos usando dados sintéticos e dois estudos de caso do mundo real - um na indústria de serviços de TI e um em finanças. Os resultados indicaram que nossa estrutura se aproximou bastante das percepções dos especialistas, mantendo um alto nível de precisão nas previsões, superando vários outros métodos de referência. Além disso, desenvolvemos uma nova métrica de avaliação que considera tanto a precisão das previsões quanto quão de perto elas se alinham com os julgamentos dos especialistas.

#O Papel dos Especialistas e do Aprendizado de Máquina

Modelos de aprendizado de máquina têm se mostrado úteis em muitas aplicações, mas suas previsões às vezes podem contradizer as percepções fornecidas por especialistas. O julgamento de um especialista é baseado na experiência do mundo real e nem sempre pode ser capturado por meio de métodos estatísticos. Por exemplo, especialistas podem conhecer padrões ou relacionamentos que os dados não mostram claramente.

Dada essa situação, nosso objetivo é resolver conflitos entre modelos de ML e julgamentos de especialistas. Considere um cenário em processos de licitação, onde os fornecedores apresentam propostas para contratos. Vendedores experientes frequentemente nos informam que propostas mais altas geralmente diminuem as chances de ganhar um contrato. Para prever se um fornecedor ganhará um negócio a um preço específico, poderia-se treinar modelos de classificação usando licitações passadas.

Nossa análise de dados reais de um dos principais provedores de serviços de TI revelou que, embora os modelos de ML possam alcançar alta precisão, eles muitas vezes não conseguem corresponder às percepções dos especialistas quando os preços aumentam além da faixa dos dados históricos. Executivos de vendas provavelmente não confiarão em modelos que não combinam com sua experiência, mesmo que os modelos mostrem sucesso convencional em medidas de precisão.

#Questões de Pesquisa

Com esses problemas em mente, definimos duas questões de pesquisa chave:

1. Como podemos construir um modelo que resolva o conflito entre as percepções dos especialistas e as previsões do modelo de ML, integrando assim ambas as perspectivas?
2. Como podemos criar novas métricas que avaliem melhor a qualidade desses modelos de Previsão, levando em conta tanto as medidas tradicionais de precisão quanto a proximidade das previsões com as percepções dos especialistas?

#Abordagens Existentes

Muitas abordagens existentes tentaram integrar os julgamentos dos especialistas em modelos de ML usando técnicas como aprendizado supervisionado com restrições adicionais ou supervisão fraca. No entanto, esses modelos muitas vezes falham quando há dados de treinamento insuficientes ou tendenciosos. Embora coletar mais dados rotulados possa ser uma solução, nem sempre é viável em cenários do mundo real.

Em nosso artigo, buscamos abordar as limitações das abordagens existentes desenvolvendo uma nova estrutura que avalie a confiabilidade das previsões de ML. Nosso primeiro passo envolve avaliar quão semelhante um ponto de dados não rotulado é em relação aos dados de treinamento existentes usando uma GAN.

Depois de determinar essa confiabilidade, decidimos sobre a abordagem de previsão. Se os novos dados se assemelharem muito aos dados de treinamento, confiamos que o modelo de ML fornecerá previsões precisas. Em casos onde o ponto de dados é bem diferente, confiamos mais nas percepções do especialista.

#Metodologia

Nossa estrutura opera através de várias etapas. Inicialmente, geramos vários conjuntos de dados sintéticos para testar a eficácia do nosso método em comparação com modelos de referência. Também aplicamos a estrutura a duas situações do mundo real: um caso de licitação de serviços de TI e um caso de aprovação de crédito financeiro.

#Configuração do Problema

Na nossa configuração, temos uma coleção de pontos de dados com características e rótulos. O objetivo do nosso modelo de ML é aprender uma função que mapeie essas entradas de características para rótulos de saída. Assumimos que tanto o modelo de ML quanto os especialistas têm suas próprias funções que prevêem resultados com base nos dados fornecidos.

Para abordar nosso objetivo principal de corrigir as previsões do modelo enquanto medimos a eficácia das previsões em relação às percepções dos especialistas, desenvolvemos um modelo GAN adaptado às nossas necessidades específicas.

#Estrutura GAN

A estrutura GAN envolve dois componentes: um gerador e um discriminador. O gerador é responsável por estimar o resultado esperado para um ponto de dados com base nos dados de treinamento. O discriminador verifica quão realista é a previsão estimada em comparação com os dados originais.

Através de um processo de aprendizado iterativo, refinamos ambos os modelos para garantir que pesem com precisão as percepções dos especialistas em relação às previsões geradas pelo modelo de ML.

#Métricas de Avaliação

As medidas de precisão existentes podem não capturar suficientemente as complexidades do nosso problema. Em resposta, propomos uma nova métrica de avaliação que quantifica quão bem um modelo de ML se alinha com o julgamento dos especialistas, usando conceitos como Divergência de Jensen-Shannon.

Ao medir a divergência entre previsões e percepções de especialistas, obtemos uma compreensão mais clara de como nosso modelo se sai. Além disso, introduzimos uma medida harmônica que combina essa nova métrica com medidas tradicionais de precisão para fornecer uma avaliação abrangente da eficácia do nosso modelo.

#Resultados de Conjuntos de Dados Sintéticos

Realizamos uma série de experimentos usando conjuntos de dados sintéticos. Nossos achados demonstraram que nosso método supera consistentemente os modelos de referência em relação tanto a métricas de precisão quanto à proximidade com os julgamentos dos especialistas. Especialmente em cenários onde os dados usados para treinar os modelos não representavam toda a gama de resultados potenciais, nosso método mostrou melhorias significativas.

#Aplicações do Mundo Real

Testamos nossa estrutura em dois estudos de caso distintos, um no setor de serviços de TI e outro na indústria financeira.

#Estudo de Caso de Serviços de TI

No caso de serviços de TI, analisamos como um grande fornecedor fez propostas para contratos. Ao incluir várias características, como tipo de cliente e relacionamentos de negócios anteriores, desenvolvemos um modelo robusto. Nossa abordagem demonstrou uma melhoria estatisticamente significativa no desempenho das previsões quando comparada aos modelos de referência.

#Estudo de Caso Financeiro

Para o estudo de caso financeiro, focamos na previsão de aprovação de crédito com base em vários atributos. Apesar da alta precisão dos modelos padrão, nossa abordagem consistentemente resultou em melhor alinhamento com as percepções dos especialistas, destacando sua eficácia.

#Análise Qualitativa

Através da análise qualitativa de nossos resultados, plotamos a variável contra a probabilidade prevista, fornecendo uma representação visual de como nosso método se compara aos julgamentos dos especialistas. Esses gráficos mostraram que nossas previsões se alinham de perto com as percepções dos especialistas, reforçando a confiabilidade da nossa abordagem.

#Conclusão

Em resumo, nosso trabalho integra o conhecimento de especialistas em modelos de aprendizado de máquina, abordando o conflito inerente entre previsões do modelo e julgamentos de especialistas. Ao desenvolver uma estrutura prática e métricas de avaliação, nosso método melhora com sucesso o desempenho dos modelos existentes, tornando-os mais confiáveis e eficazes em aplicações do mundo real.

A importância da nossa estrutura se estende além de indústrias específicas, fornecendo uma ferramenta valiosa para uma variedade de aplicações onde conjuntos de dados de treinamento pequenos e suposições fortes existem. A capacidade de alcançar tanto precisão quanto um alinhamento próximo com as percepções dos especialistas pode transformar a forma como os modelos de ML são aplicados em vários campos, abrindo caminho para resultados mais confiáveis.