Avaliação de Conjuntos de Dados de Preferência para Modelos de Recompensa

Alinhar modelos de linguagem com as preferências humanas exige coletar dados que reflitam essas preferências. Num mundo ideal, os recursos seriam usados com cuidado para reunir e criar dados de preferência específicos para cada aplicação. No entanto, na prática, apenas alguns conjuntos de dados disponíveis publicamente são comumente usados para treinar modelos de recompensa que utilizam feedback humano. Embora novos conjuntos de dados estejam sendo introduzidos, até agora não houve uma maneira sistemática de medir e comparar esses conjuntos de dados. Este artigo analisa conjuntos de dados de preferência sob três ângulos importantes: tamanho, ruído na rotulagem e riqueza de informação. Sugere maneiras simples de avaliar esses conjuntos de dados.

#A Importância dos Conjuntos de Dados de Preferência

Modelos de recompensa são essenciais para treinar modelos de linguagem com base no feedback humano. Esses modelos geralmente são construídos usando conjuntos de dados que incluem pares de preferências. Cada conjunto de dados contém casos com uma solicitação, duas respostas e uma anotação sobre qual resposta é preferida. As características desses conjuntos de dados podem variar bastante. Por exemplo, eles diferem em domínios (como programação, bate-papo ou questões e respostas), na forma como os dados são gerados (se por máquinas ou humanos) e até mesmo em como os dados são coletados (por meio de anotação direta ou geração de prompts). Os tamanhos desses conjuntos de dados também podem variar de alguns milhares a várias centenas de milhares de exemplos.

Num cenário perfeito, um conjunto de dados personalizado para cada tarefa específica seria desenvolvido e rotulado por múltiplos anotadores. Relatórios anteriores destacaram a importância de dados de preferência de alta qualidade, mas não forneceram muitos detalhes sobre os próprios conjuntos de dados. Costuma-se dizer que conjuntos de dados melhor curados produzem resultados melhores, mas houve pouca pesquisa rigorosa para validar isso. Atualmente, não se entende bem por que um conjunto de dados pode superar outro ou o que "melhor" realmente significa nesse contexto.

#Medindo as Propriedades dos Conjuntos de Dados de Preferência

Este artigo explora como medir as propriedades dos conjuntos de dados de preferência para facilitar um melhor treinamento dos modelos de recompensa. Medidas eficazes devem ser resilientes, não dependentes da escolha de modelos base e aplicáveis a qualquer conjunto de dados que inclua preferências em pares. São propostas três abordagens principais para comparar conjuntos de dados de preferência: tamanho de amostra eficaz, resiliência ao ruído de rotulagem e conteúdo informativo.

O objetivo é avaliar tanto o desempenho na tarefa pretendida quanto a capacidade de se sair bem em diferentes tarefas. Os achados são apoiados por experimentos que analisam vários tamanhos de modelo, mostrando como essas medições se relacionam com a eficácia dos modelos de recompensa resultantes.

#Trabalho Relacionado: Entendendo a Qualidade do Conjunto de Dados

Métodos centrados em dados foram desenvolvidos para explicar a relação entre tamanho do modelo, dados e poder computacional no treinamento de modelos de linguagem. Modelos de linguagem maiores costumam ter um desempenho melhor com mais dados, mas esse princípio não se traduz necessariamente em conjuntos de dados de preferência. Estratégias diferentes emergiram para melhorar a qualidade e composição dos dados, que oferecem alternativas a simplesmente usar todos os dados disponíveis sem consideração.

No contexto dos conjuntos de dados de preferência, estudos iniciais resultaram em conjuntos de dados com dezenas de milhares de exemplos. Por exemplo, algumas tarefas de resumo utilizaram até 64.000 pares baseados em prompts online. À medida que os conjuntos de dados crescem, os procedimentos de coleta podem diferir significativamente; alguns conjuntos envolvem humanos classificando respostas geradas por máquinas, enquanto outros reúnem opiniões sobre respostas geradas por humanos. Novos conjuntos de dados, que são em sua maioria gerados por máquinas, fornecem amostras maiores, mas podem carecer da curadoria meticulosa de conjuntos menores.

#Avaliando o Tamanho do Conjunto de Dados

A primeira área de exame é como o tamanho de um conjunto de dados influencia o desempenho dos modelos de recompensa. Ao contrário das leis de escalonamento estabelecidas para pré-treinamento de modelos, não há uma diretriz clara sobre o tamanho ideal que um conjunto de dados de preferência deve ter para treinar efetivamente um Modelo de Recompensa. Alguns estudos sugerem que dobrar o tamanho de um conjunto de dados leva a pequenas melhorias na precisão, enquanto outros afirmam que até alguns milhões de exemplos podem continuar a aprimorar o desempenho.

Neste artigo, o impacto do aumento do tamanho do conjunto de dados é analisado em quatro conjuntos de dados, que variam de 30.000 a 200.000 exemplos. Parece que, embora modelos maiores ganhem menos ao dobrar o tamanho do conjunto de dados, um conjunto de dados (SafeRLHF) mostra benefícios significativos com aumentos de tamanho em comparação com outros.

Além disso, ao avaliar como conjuntos de dados maiores afetam o desempenho em tarefas gerais fora da distribuição de treinamento, os resultados indicam que o tamanho nem sempre se correlaciona com a melhoria. Em alguns casos, o conteúdo do conjunto de dados pode desempenhar um papel mais significativo do que o tamanho puro, sugerindo que conjuntos de dados menores, mas altamente relevantes, poderiam gerar melhores resultados.

#Examinando a Resiliência ao Ruído de Rotulagem

O segundo aspecto abordado é a robustez dos modelos de recompensa contra erros na rotulagem. Estudos relataram diferentes níveis de concordância entre anotadores humanos ao examinar preferências. Idealmente, desacordos entre anotadores poderiam indicar dados de baixa qualidade, mas entender o quanto de ruído existe em conjuntos de dados de preferência continua sendo crucial.

Na classificação de imagens, foi demonstrado que os modelos podem suportar um certo nível de ruído de rotulagem. Para preferências, o ruído pode ser analisado invertendo os rótulos de respostas selecionadas. Pesquisas indicam que o desempenho do modelo de recompensa permanece estável mesmo com uma taxa de erro de 30-40% na rotulagem nos conjuntos de dados examinados.

#Entendendo Ruído e Confiança do Modelo

A introdução de ruído de rotulagem levanta questões sobre como isso afeta a certeza das previsões dos modelos de recompensa. Analisar as previsões do modelo com base nos níveis de ruído revela que, à medida que o ruído de rotulagem aumenta, a confiança do modelo em fazer previsões se torna menos previsível.

Para medir com precisão a calibração das previsões do modelo, é importante avaliar quão provável é que o modelo prefere uma resposta em relação a outra. Os achados sugerem que, com o aumento do ruído, as probabilidades de previsão convergem em torno de uma estimativa neutra, em vez de favorecer uma resposta consistentemente.

#O Papel do Conteúdo Informativo na Aprendizagem

A terceira área de foco é a necessidade de respostas de alto contraste dentro dos conjuntos de dados para um aprendizado eficaz do modelo de recompensa. Há uma diferença marcante em como as respostas são geradas-alguns conjuntos de dados usam saídas de modelos de linguagem, enquanto outros usam respostas geradas por humanos. Os resultados indicam que, quando as respostas são muito semelhantes, o desempenho geral pode ser mais baixo.

Para avaliar o valor informativo dos conjuntos de dados de preferência, mede-se a similaridade cosseno entre pares de respostas. Um limiar para alta informação é estabelecido, levando a comparações de conjuntos de dados com base em seu nível de engajamento e diferenças de resposta. O impacto varia dependendo do tamanho do modelo, com modelos menores se beneficiando mais do treinamento com exemplos de alto contraste.

#Conclusão: Principais Conclusões

Esta investigação destaca três aspectos significativos dos conjuntos de dados de preferência que influenciam o treinamento dos modelos de recompensa. Primeiro, conjuntos de dados de preferência maiores não levam automaticamente a melhores resultados em comparação com conjuntos menores, mas mais relevantes. Segundo, os conjuntos de dados examinados mostram resiliência ao ruído, sugerindo que conjuntos de dados menos ideais podem ainda ser úteis. Por último, o valor encontrado nos conjuntos de dados pode diferir com base em quão variados ou semelhantes são os pares de respostas.

Esforços futuros na criação de novos conjuntos de dados de preferência devem se concentrar em como tamanho, ruído e conteúdo informativo impactam o desempenho. Uma compreensão mais profunda desses fatores ajudará a refinar o alinhamento dos modelos de linguagem com as preferências humanas e melhorar todo o processo de treinamento.