Approccio Innovativo alla Generazione di Testi Controllabili

La Generazione di Testo controllabile è fondamentale per la generazione del linguaggio naturale. Esistono vari metodi per diversi tipi di Vincoli. Tuttavia, molti di questi metodi richiedono cambiamenti significativi nella struttura del modello o nei metodi di output, rendendo difficile applicare nuovi vincoli o combinazioni di vincoli. Questo documento presenta l'Istruzione di Espressione Regolare (REI), che utilizza un sistema basato su istruzioni per sfruttare al massimo le espressioni regolari per modellare vari vincoli.

REI gestisce vincoli comuni a livello fine come scelta delle parole, posizione nel testo e lunghezza. Lo fa utilizzando istruzioni in stile espressione regolare. Il nostro approccio richiede solo piccole modifiche su modelli di linguaggio di media grandezza o pochi esempi per modelli più grandi, senza necessitare di ulteriori cambiamenti quando affronta vincoli diversi. Gli esperimenti mostrano che questo approccio raggiunge alti tassi di successo e si adatta bene a vari vincoli mantenendo buone prestazioni su metriche automatiche e superando molti modelli precedenti.

Generare testo secondo le esigenze umane è sempre stata una bella sfida nella generazione del linguaggio naturale. Con l'arrivo dei modelli di linguaggio ampi, molti compiti nella lavorazione del linguaggio naturale possono essere unificati sotto la generazione controllabile. Per esempio, compiti come la classificazione del testo, il riempimento di spazi vuoti e la risposta a domande a scelta multipla possono limitare l'output a una delle opzioni fornite. Il ragionamento abductivo richiede che l'output si adatti ai contesti precedenti e futuri dati. Riassumere un testo limita la lunghezza dell'output, mentre la traduzione automatica deve usare parole nella lingua di destinazione.

Per la generazione di testo controllabile, i compiti tipici includono scelta delle parole, posizione e lunghezza. Le soluzioni recenti possono essere divise in tre categorie: rielaborazione del modello, messa a punto su dati specifici e post-elaborazione progettata a mano.

Nonostante un buon rendimento, i metodi attuali si concentrano principalmente su vincoli specifici e potrebbero non trasferirsi facilmente ad altri, specialmente se esistono più vincoli. Ad esempio, alcuni metodi considerano solo la scelta delle parole e la lunghezza, ma non possono specificare dove deve apparire il testo. Altri possono stabilire posizioni contestuali, ma non possono imporre l'inclusione di parole o limiti di lunghezza. Inoltre, questi metodi di solito assumono l'accesso alle probabilità di output del modello, il che non è sempre possibile con modelli più grandi, rendendo necessarie tecniche di controllo in black-box.

Per affrontare questi problemi, presentiamo REI per la generazione controllabile universale e fine. Il nostro design è influenzato dalle espressioni regolari, permettendo di esprimere facilmente vincoli comuni e le loro combinazioni. Utilizziamo anche un linguaggio di markup per distinguere tra istruzioni e testo reale. Il nostro metodo è flessibile, adatto a compiti come riassunti, traduzioni con vincoli terminologici e finali di racconti.

Il nostro approccio ha vari vantaggi. Supporta tutti i compiti fine comuni e descrive regole di controllo complesse. La soluzione si adatta facilmente a scenari diversi e non necessita di ampie modifiche al modello. Gli esperimenti indicano che i modelli di linguaggio di punta possono comprendere il nostro linguaggio di controllo, raggiungendo alti tassi di successo e mantenendo punteggi di valutazione automatici forti, superando molti metodi precedenti.

Il fine-tuning è un aspetto chiave del nostro approccio, permettendoci di costruire dati di addestramento da varie fonti. Applichiamo anche l'apprendimento in contesto per modelli grandi per generare testo che corrisponda ai vincoli dati. Questo include la scelta di schemi da esempi passati, consentendo una generazione di output efficace basata sul formato dell'istruzione che forniamo.

In sintesi, REI è un modo efficace per ottenere generazione di testo controllata. Dimostra un'elevata adattabilità e tassi di successo, rendendolo uno strumento utile per varie applicazioni nella generazione del linguaggio naturale. I lavori futuri potrebbero concentrarsi su come migliorare il suo algoritmo per vincoli più complessi e aumentare l'efficienza nella generazione degli output.