Verbesserung grosser Sprachmodelle mit neuer Datenmethode
Eine neue Methode, um Anweisungsanpassungsdaten für grosse Sprachmodelle zu sammeln.
― 1 min Lesedauer
Inhaltsverzeichnis
Hochwertige Anweisungsdaten sind wichtig, um die Fähigkeiten von grossen Sprachmodellen (LLMs) zu verbessern. Die aktuellen Methoden zur Datensammlung sind oft teuer und nicht immer genau, weil sie häufig auf menschliche Kennzeichnung oder darauf angewiesen sind, dass die LLMs selbst Aufgaben erstellen, was zu Fehlern führen kann. Diese Studie stellt eine neue Methode vor, die dabei hilft, diese Daten automatisch zu sammeln. Sie trainiert Sprachmodelle, um Aufgaben basierend auf von Menschen verfassten Texten zu erstellen, was den Prozess verbessert.
Titel: DoG-Instruct: Towards Premium Instruction-Tuning Data via Text-Grounded Instruction Wrapping
Zusammenfassung: The improvement of LLMs' instruction-following capabilities relies heavily on the availability of high-quality instruction-response pairs. Unfortunately, the current methods used to collect the pairs suffer from either unaffordable labor costs or severe hallucinations in the self-generation of LLM. To tackle these challenges, this paper proposes a scalable solution. It involves training LLMs to generate instruction-response pairs based on human-written documents, rather than relying solely on self-generation without context. Our proposed method not only exploits the advantages of human-written documents in reducing hallucinations but also utilizes an LLM to wrap the expression of documents, which enables us to bridge the gap between various document styles and the standard AI response. Experiments demonstrate that our method outperforms existing typical methods on multiple benchmarks. In particular, compared to the best-performing baseline, the LLM trained using our generated dataset exhibits a 10\% relative improvement in performance on AlpacaEval, despite utilizing only 1/5 of its training data. Furthermore, a comprehensive manual evaluation validates the quality of the data we generated. Our trained wrapper is publicly available at https://github.com/Bahuia/Dog-Instruct.
Autoren: Yongrui Chen, Haiyun Jiang, Xinting Huang, Shuming Shi, Guilin Qi
Letzte Aktualisierung: 2024-05-25 00:00:00
Sprache: English
Quell-URL: https://arxiv.org/abs/2309.05447
Quell-PDF: https://arxiv.org/pdf/2309.05447
Lizenz: https://creativecommons.org/licenses/by/4.0/
Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.
Vielen Dank an arxiv für die Nutzung seiner Open-Access-Interoperabilität.