Approche innovante pour la génération de texte contrôlable

La Génération de texte contrôlable est super importante pour la génération de langage naturel. Y'a plein de méthodes pour différents types de Contraintes. Mais, beaucoup de ces méthodes nécessitent des changements majeurs dans la structure du modèle ou dans les méthodes de sortie, rendant difficile l'application de nouvelles contraintes ou de combinaisons de contraintes. Cet article présente l'Instruction par Expression Régulière (REI), qui utilise un système basé sur des instructions pour tirer le meilleur des expressions régulières afin de modéliser diverses contraintes.

REI gère des contraintes fines populaires comme le choix des mots, la position dans le texte et la longueur. Il fait ça en utilisant des instructions de style expression régulière. Notre approche nécessite seulement un petit ajustement sur des modèles de langage à échelle moyenne ou quelques exemples pour des modèles plus grands, sans avoir besoin d'autres changements face à différentes contraintes. Les expériences montrent que cette approche atteint de hauts taux de réussite et s'adapte bien à diverses contraintes tout en maintenant de bonnes performances sur des métriques automatiques, dépassant plusieurs modèles antérieurs.

Générer du texte selon les besoins humains a toujours été un défi dans la génération de langage naturel. Avec l'arrivée des grands modèles de langage, plein de tâches en traitement de langage naturel peuvent être unifiées sous une génération contrôlée. Par exemple, des tâches comme la classification de texte, le remplissage de blancs, et répondre à des questions à choix multiples peuvent limiter la sortie à une des options fournies. Le raisonnement abductif exige que la sortie s'intègre entre des contextes précédents et futurs donnés. Résumer du texte limite la longueur de la sortie, tandis que la traduction automatique doit utiliser des mots de la langue cible.

Pour la génération de texte contrôlable, les tâches typiques incluent le choix des mots, la position et la longueur. Les solutions récentes peuvent être séparées en trois catégories : retravailler le modèle, l'ajuster sur des données spécifiques et un post-traitement conçu manuellement.

Malgré des performances correctes, les méthodes actuelles se concentrent surtout sur des contraintes spécifiques et peuvent ne pas se transférer facilement à d'autres, surtout s'il y a plusieurs contraintes. Par exemple, certaines méthodes ne considèrent que le choix des mots et la longueur, mais ne peuvent pas spécifier où le texte doit apparaître. D'autres peuvent établir des positions contextuelles mais ne peuvent pas imposer l'inclusion de mots ou des limites de longueur. De plus, ces méthodes supposent généralement l'accès aux probabilités de sortie du modèle, ce qui n'est pas toujours possible avec des modèles plus grands, nécessitant des techniques de contrôle en boîte noire.

Pour résoudre ces problèmes, nous introduisons REI pour une génération contrôlée universelle et fine. Notre design est influencé par les expressions régulières, permettant d'exprimer facilement des contraintes courantes et leurs combinaisons. On utilise aussi un langage de balisage pour distinguer les instructions du texte réel. Notre méthode est flexible et s'adapte à des tâches comme la résumation, les traductions avec contraintes terminologiques, et les fins d'histoires.

Notre approche a plusieurs avantages. Elle supporte toutes les tâches fines courantes et décrit des règles de contrôle complexes. La solution s'adapte facilement à différents scénarios et ne nécessite pas de gros ajustements du modèle. Les expériences indiquent que les grands modèles de langage peuvent comprendre notre langage de contrôle, atteignant de hauts taux de réussite et maintenant de bons scores d'évaluation automatique, surpassant plusieurs méthodes précédentes.

Le fine-tuning est un aspect clé de notre approche, nous permettant de construire des données d'entraînement à partir de diverses sources. On applique aussi l'apprentissage en contexte pour les grands modèles afin de générer du texte qui correspond aux contraintes données. Cela inclut le choix de modèles à partir d'exemples passés, permettant une génération de sortie efficace basée sur le format d'instruction que l'on fournit.

En résumé, REI est une façon efficace d'atteindre une génération de texte contrôlée. Il démontre une grande adaptabilité et de bons taux de réussite, ce qui en fait un outil utile pour diverses applications en génération de langage naturel. Les travaux futurs peuvent se concentrer sur l'amélioration de son algorithme pour des contraintes plus complexes et sur l'optimisation de l'efficacité dans la génération de sorties.