Melhorando Modelos de Linguagem Grandes com Novo Método de Dados
Uma nova forma de coletar dados de ajuste de instrução para grandes modelos de linguagem.
― 1 min ler
Dados de alta qualidade para ajuste de instruções são essenciais para melhorar as capacidades dos Modelos de Linguagem Grandes (LLMs). As formas atuais de coletar esses dados podem ser caras e nem sempre são precisas, já que costumam depender de rotulação humana ou dos próprios LLMs criando Tarefas, o que pode levar a erros. Este estudo apresenta um novo método que ajuda a reunir esses dados automaticamente. Ele treina modelos de linguagem para criar tarefas com base em textos escritos por pessoas, o que melhora o processo.
Título: DoG-Instruct: Towards Premium Instruction-Tuning Data via Text-Grounded Instruction Wrapping
Resumo: The improvement of LLMs' instruction-following capabilities relies heavily on the availability of high-quality instruction-response pairs. Unfortunately, the current methods used to collect the pairs suffer from either unaffordable labor costs or severe hallucinations in the self-generation of LLM. To tackle these challenges, this paper proposes a scalable solution. It involves training LLMs to generate instruction-response pairs based on human-written documents, rather than relying solely on self-generation without context. Our proposed method not only exploits the advantages of human-written documents in reducing hallucinations but also utilizes an LLM to wrap the expression of documents, which enables us to bridge the gap between various document styles and the standard AI response. Experiments demonstrate that our method outperforms existing typical methods on multiple benchmarks. In particular, compared to the best-performing baseline, the LLM trained using our generated dataset exhibits a 10\% relative improvement in performance on AlpacaEval, despite utilizing only 1/5 of its training data. Furthermore, a comprehensive manual evaluation validates the quality of the data we generated. Our trained wrapper is publicly available at https://github.com/Bahuia/Dog-Instruct.
Autores: Yongrui Chen, Haiyun Jiang, Xinting Huang, Shuming Shi, Guilin Qi
Última atualização: 2024-05-25 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2309.05447
Fonte PDF: https://arxiv.org/pdf/2309.05447
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.