Luxemburgisches Text-Generieren mit mehrsprachigen Modellen aufpeppen

Lëtzebuergesch ist eng Sprooch, déi vun ongeféier 400.000 Leit geschwat gëtt, haaptsächlech zu Lëtzebuerg. Awer wann et ëm Technologie an Daten geet, ass Lëtzebuergesch wéi dat roude Kand an der Klass — oft iwwerlooss. Meeschtens konzentréieren d'Fuerschung an d'Daten sech op méi grouss Sproochen wéi Englesch a Däitsch. Awer net besuergt, mir tauchen an d'Welt vun der Lëtzebuergesch Textgeneratioun an wéi mir et besser kënne maachen.

#D'Challenge

Lass mat der Realitéit, d'Entwécklung vun Sproochmodeller fir kleng Sproochen wéi Lëtzebuergesch ass schwiereg. Et fehlt un Daten, an d'Konkurrenz vu groussen Sproochen ass héich. Meeschtens benotzen d'Sproochmodeller eng héich Zuel u Daten fir ze léieren, wéi se Text verstoen an generéieren. Fir Beispill, während Englesch ronn 3.4TB vun Daten huet, huet Lëtzebuergesch just ongeféier 18MB. Dat ass wéi wann een eng grouss Pizza mat enger klenger Scheif vergläicht!

D'Gutt Nouvell ass, datt nei Fortschrëtter am déif Geléierten et méi einfach gemaach hunn, Modeller ze kreéieren, déi mat limitéierten Daten fonctionnéieren, andeems se och vun ähnleche Sproochen wéi Däitsch an Franstesch léieren, déi d'Noperen vum Lëtzebuergesch sinn.

#Wat mir gemaach hunn

Mir hunn e kreativen Ansatz geholl, andeems mir Lëtzebuergesch Daten mat gläicher Zuel u Däitsch a Franstesch Daten gemëscht hunn. Stell et dir wéi en Dräi-Sprooche-Smoothie vir! Eist Hypothèse war, datt dës Mëschung d'Performance vun eise Modeller verbessere géift. Mir hunn e neie Modell genannt LuxT5, baséiert op der T5-Architektur, entworf. Mir hunn och e Benchmark genannt LuxGen entworf, deen sech op verschidden Textgeneratiounsaufgaben, wéi d'Erstellung vu News-Headlines oder d'Zesummesetzung vu Wikipedia-Artikelen, konzentréiert.

#D'Datensammlung

D'Datensammlung fir Lëtzebuergesch war wéi Schätzjuecht. Mir hunn all méiglech Zorte vun Texter gesammelt, dorënner Newsartikelen, Transkriptioune vun Radiointerviewen, Benotzerkommentaren, politesche Rieden an och Wikipedia-Einträge. D'Ziel war et, sou vill wéi méiglech Daten ze sammelen, während mir et ausgegläichen hunn mat den Däitsch an Franstesch Daten.

Fir den Däitsch Deel hunn mir Newsartikelen, Benotzerkommentaren an transkribéiert Radiointerviewen geschnappt, déi all ganz no am Kontext vum Lëtzebuergesch sinn. Fir Franstesch hunn mir e ähnleche Prozess gefollegt, fir sécher ze sinn, datt mir ähnlech Daten hunn.

Kuerz gesot, mir haten d'Zil, ongeféier déi selwecht Zuel u Daten fir Lëtzebuergesch, Däitsch a Franstesch ze hunn. Sou géif eise Modell net ze vill iwwerschattet ginn vun den grossen.

#LuxGen virstellen

LuxGen ass eise glanzneie Benchmark speziell fir Lëtzebuergesch Textgeneratiounsaufgaben. Mir hunn véier Aufgaben erstallt, déi eis Modeller op verschidde Weeër testen.

1. News Headline Generatioun: Den Modell léiert, fännegt Headlines aus Newsartikelen ze kreéieren.
2. Positiv a Negativ Kommentar Generatioun: Hei generéiert den Modell Kommentaren, déi warscheinlech déi meescht Upvotes oder Downvotes op Benotzerdiscussionsplattformen kréien.
3. Kuerzfälleg Beschreiwung Generatioun: D'Aufgab ass et, eng kuerz Beschreiwung vu Wikipedia-Artikelen ze schreiwen.
4. Allgemeng Tester: Mir stellen och sécher, datt eis Modeller aner kreativ Textgeneratiounsaufgaben handhaben kënnen.

Dës Aufgaben sinn originell a setzen e Standard fir ze evaluéieren, wéi gutt eis Modeller an Lëtzebuergesch kënnen déngen.

#D'Modellentrainéieren

D'Trainéieren vun eise Modeller involvéiert cool Saachen wéi Pre-Training. Mir hunn zwee Modeller: LuxT5, deen nëmmen op Lëtzebuergesch Daten trainéiert ass, an LuxT5-Grande, deen Däitsch a Franstesch Daten enthält.

Mir hunn eng Method genannt Denoising benotzt, wou mir den Modell guessen gelooss hunn, wéi den urspréngleche Text aus enger Versioun mat e puer Wierder zuffiizéiert ass. Et ass eng Zort Spill, wéi eng Fill-in-the-Blanks, wou den Modell muss erausfannen, wat Wierder erausgeholl goufen.

Mir hunn och eng fest Lernrate an Batchgréisst gewielt, fir ze kontrolléieren, wéi eise Modeller geléiert hunn. Sou géifen se net ze perplex sinn an effektiv d'Daten verarbeiten kënnen.

#Performance Evaluatioun

Fir ze kontrolléieren, wéi gutt eise Modeller funktionéieren, hu mir verschidde Evaluatiounen op de LuxGen Aufgaben duerchgefouert. Mir hunn LuxT5 an LuxT5-Grande mat anere populäre méi grousse Sproochmodeller verglach, wéi GPT-4o an Llama 3, souwéi fein-afgeschleifen Versiounen vun mT5 an ByT5.

Mir hunn eng Metrik genannt BLEU benotzt, fir d'Performance ze moossen. Awer, well Lëtzebuergesch net breet standardiséiert ass, huet dës Metrik seng Limitéierungen. Dat kann wéi wann e Léierperronen eng Aarbecht benotzt, déi eng Sprooch ass, déi net eng richteg Schreifweis huet - et gëtt schwiereg!

Mir wollten gesin, ob d'Trainéieren mat ville Sproochen d'Fäegkeet vum Modell verbessert huet, Text ze generéieren am Verglach zu just Lëtzebuergesch Daten.

#Fidingen

LuxT5-Grande huet besser performéiert iwwer verschidde Aufgaben am Verglach zu LuxT5 an anere Modeller. Et war wéi den Staarkstudent, deen mat e bësse Gruppstudien iwwerzeegt! Fir Aufgaben mat vill Trainingsdaten war d'Performance vum LuxT5-Grande ganz no bei de méi grousse Modeller, ma et huet nach méi glänzt, wann et manner Trainingsdaten zur Verfügung war.

Den Modell, dee just mat Lëtzebuergesch Daten trainéiert gouf, huet an e puer Aufgaben gegeint, wat weist, datt just e bësse Daten net genuch sinn. Et ass wéi wann een probéiert e Kéischt ze baken mat nëmmen e puer Zutaten - et kann net gutt abéieren!

#D'Manual Evaluatioun

Mir hu net just bei Zuelen opgeholl; mir hunn och eng manuell Iwwerpréiwung vun e puer generéierte Outputs gemaach. Dëst huet eis gehollef ze gesin, wéi gutt eise Modeller an der realer Textgeneratioun ass. Mir hunn d'Outputs fir Task-Vervollëschung, Inhaltsgenauheet, an Grammatikrichtegkeet evaluéiert.

Et war flott ze gesin, wéi d'Modeller d'Aufgaben an der Hand haten. Fir Beispill, LuxT5 huet Outputs produziéiert, déi méi gutt mat de gezielte Resultater ugeschloss waren, och wann et esou mol wou d'Modell onvertraut Informatiounen generéiert huet, déi net am Inputtext waren. Mee hei, keen ass perfekt!

#Schlussfolgerung

Zesummenvun ass dës Aarbecht e Bléck drop, wéi kleng Sproochen wéi Lëtzebuergesch vun cleveren Strategien profitéiere kënnen, wann et drëms geet Sproochmodeller ze entwéckelen. Eise Fyndunge weisen, datt d'Benotzung vun verwandte Sproochen am Training d'Performance wesentlech kann hëllefen. An enger Welt mat esou villen diversen Sproochen, opmaacht dat d'Tuer fir méi Geleeënheeten fir Sproochen mat niddere Ressourcen ze glänzen.

Also, déi nächst Kéier, wanns de Lëtzebuergesch héier, bedenke, et ass net just eng Sprooch struggle — et sinn hell Këpp, déi schaffen, fir sécherzestellen, datt et d'Rekonnaissance kritt, déi et verdéngt! Mat der richteger Approche an e bësschen Hëllef vu senge Noperen, kéint Lëtzebuergesch sou kënnen eng Sprooch ginn, iwwer déi all een schwätzt.