Améliorer les modèles de langue islandais : idées et techniques

Les petits modèles de langage (LLMs) peuvent faire des trucs incroyables, mais ils ont encore des petits soucis, surtout avec des langues moins parlées. Quand ces modèles essaient de gérer des langues comme l'islandais, c'est souvent galère. C'est surtout parce qu'ils manquent des connaissances spécifiques nécessaires pour générer du bon texte dans ces langues. Même si tu leur files du texte traduit par machine, ça ne règle pas toujours le souci.

#Le cas de l'islandais

Dans notre quête pour améliorer ces modèles, on s'est concentrés sur l'islandais. L'objectif était de prendre un LLM et de le rendre meilleur pour générer du texte en islandais en l'entraînant sur une tonne de texte non structuré. Mais il fallait faire gaffe. Trop de bidouillage pouvait nuire à la capacité du modèle à gérer des morceaux de texte plus longs. Pense à ça comme essayer d'améliorer la vitesse d'une voiture tout en s'assurant qu'elle puisse encore tourner sans se renverser.

#Ajustement de Paramètres Efficace (PEFT)

Une des techniques clés qu'on a utilisées dans ce projet s'appelle l'ajustement de paramètres efficace (PEFT). C'est un terme un peu compliqué pour une méthode qui nous permet d'entraîner notre modèle sans trop changer ses réglages. On a découvert que rendre plus de paramètres entraînables menait généralement à de meilleurs résultats.

On a essayé différents styles de PEFT, y compris l'ajout de composants spéciaux appelés LoRAs et des adaptateurs "bottleneck" à divers endroits du modèle. Les LoRAs dans certaines couches du modèle ont montré un super potentiel, tandis que d'autres méthodes, comme le prefix tuning, semblaient faire plus de mal que de bien. C'est un peu comme essayer de trouver les meilleurs endroits pour ajouter des turbocompresseurs à une voiture-certains spots rendent juste tout pire.

#Ajustement par Instructions et Performance du Modèle

On a aussi regardé comment ces modèles performaient quand on utilisait des données traduites par machine pour l'entraînement. Même si ça améliorait la performance par rapport à l'utilisation uniquement de l'anglais, ça n'atteignait toujours pas la marque avec les vrais benchmarks islandais. C'était clair qu'il manquait quelque chose-à savoir, des connaissances spécifiques sur la langue islandaise.

Collecter une énorme quantité de données d'instruction natives pourrait régler ce souci, mais soyons honnêtes-c'est souvent plus facile à dire qu'à faire. C'est là que les techniques qu'on a explorées avec des données textuelles non structurées deviennent super utiles.

#La Configuration de l'Expérience

Pour nos expériences, on a utilisé la plus petite version du modèle LLaMA 3.2, qui a 1 milliard de paramètres et a été ajusté pour les instructions. On a choisi un dataset axé sur l'islandais, constitué de morceaux de texte qu'on trouvait de bonne qualité. Pour être sûrs d'avoir assez de matériel, on a choppé 250 000 segments de texte, chacun allant jusqu'à 1 024 tokens, ce qui a donné une énorme pile de 12,5 millions de tokens.

On a aussi utilisé des données d'une autre source, le Icelandic Gigaword Corpus (IGC), mais nos résultats n'ont montré aucun bénéfice. On dirait que l'utilisation d'une large gamme de données pourrait donner de meilleurs résultats que de se cantonner à un petit ensemble de contenu trié sur le volet.

#Différentes Méthodes d'Adaptation

On a essayé plusieurs méthodes pour adapter notre modèle de langue, notamment :

1. LoRA : Cette approche ajoute des matrices de bas rang à certaines parties du modèle. Le truc sympa, c'est que tu peux fusionner ces matrices dans le modèle, ce qui rend les choses plus rapides.

2. Adaptateurs "Bottleneck" : Ils ajoutent des couches plus petites entre les couches principales du modèle, mais ça peut aussi augmenter le nombre total de paramètres et ralentir un peu le modèle-comme ajouter trop de snacks dans ton sac à dos pour une randonnée.

3. Prefix Tuning : Cette méthode insère une chaîne de vecteurs apprenables au début des séquences d'entrée. C'est comme ajouter une intro accrocheuse à une chanson, mais parfois ça embrouille l'auditeur au lieu de l'attirer.

#Génération et Évaluation de Texte

Pour voir comment nos modèles se débrouillaient à résumer des textes, on a utilisé un dataset populaire d'articles de presse. On a filtré les morceaux qui manquaient d'infos clés, donc on est restés avec des articles qui répondaient à nos critères.

On a testé comment nos modèles performaient dans différents scénarios, comme les configurations 0-shot, 1-shot, et 5-shot. Pense à ça comme se préparer pour un quiz où tu pourrais avoir zéro indice, un indice, ou cinq indices pour t'aider.

#Résultats : Le Bon, le Mauvais, et le Horrible

Nos expériences ont révélé plusieurs découvertes intéressantes. Quand on a regardé comment les modèles de langue s'adaptaient, les scores de résumé 0-shot se sont améliorés de manière constante. Cependant, dans les scénarios 1-shot et 5-shot, certaines configurations ont même moins bien performé que quand on n'avait pas utilisé d'adaptation du tout. Ça nous a fait penser que l'apprentissage en contexte pourrait parfois marcher aussi bien-comme un étudiant qui décroche un quiz sans étudier !

#Meilleures Méthodes

La meilleure performance a été le LoRA placé dans les couches feed-forward du modèle. Les adaptateurs bottleneck ont aussi boosté les scores, même si pas de manière aussi spectaculaire. On a remarqué que quand les rangs de LoRA augmentaient ou que les facteurs de réduction des bottlenecks diminuaient, nos scores s'amélioraient.

Cependant, le prefix tuning n'a pas du tout aidé nos modèles. Ça a causé des chutes de performance, surtout quand le modèle devait résumer des entrées plus complexes.

#Placement des LoRAs

Pendant nos expériences, on a approfondi le sujet de l'endroit où placer les LoRAs. Il s'avère que mettre LoRA dans le module feed-forward performait mieux que dans le module d'auto-attention. On a été surpris de constater qu'ajouter LoRA aux deux modules ne faisait pas vraiment de différence.

Ça a des implications pour notre compréhension de comment obtenir les meilleurs résultats de nos modèles. Si tu peux booste la performance sans perdre en efficacité, pourquoi ne pas le faire ?

#Expérience d'Exclusion de Couches

On a ensuite testé pour voir si laisser de côté les couches finales pendant l'adaptation aiderait à maintenir les capacités originales du modèle. À notre surprise, ça n'a pas amélioré la performance du tout. En fait, quand on a concentré les modules LoRA sur juste les deux dernières couches, on a commencé à voir de meilleurs résultats dans les tests 5-shot, même si on a perdu un peu en performance 0-shot.

Ça suggère que se concentrer sur les bonnes couches peut mener à des améliorations, surtout dans les cas où le modèle galère.

#Le Rôle de la Qualité des Données

Quand on a regardé la qualité de nos données, on n'a pas vu d'avantage à utiliser le Icelandic Gigaword Corpus. En fait, la performance était généralement plus basse avec ce dataset. Ça souligne la nécessité d'avoir des données d'entraînement diversifiées et de haute qualité.

#Directions Futures

On prévoit de prendre nos découvertes et de les appliquer à d'autres langues et à des modèles plus grands dans le futur. Élargir nos tests pour voir si des longueurs de contexte plus longues améliorent la performance est aussi sur notre liste de choses à faire.

Une idée intéressante serait d'utiliser des souvenirs épisodiques pour booster la performance. Pense à ça comme saupoudrer quelques exemples de tâches précédentes pour rappeler au modèle ce qu'il a appris avant.

#Besoin de Meilleures Évaluations

On a réalisé que même si utiliser des métriques automatiques comme BERTScore et ROUGE-L nous donne quelques aperçus, ça ne donne peut-être pas toute l'image. Ça vaudrait le coup de faire des évaluations humaines sur les sorties de notre modèle pour avoir une compréhension plus large de sa performance.

Ça nous aidera à évaluer différents aspects de la qualité du langage et du contenu généré, nous donnant une compréhension plus claire de ce qui fonctionne et ce qui ne fonctionne pas.

#Conclusion

En résumé, adapter les petits modèles de langue pour des langues comme l'islandais vient avec son lot de défis. Cependant, grâce à un ajustement soigné et à des approches innovantes, on peut améliorer leur performance. C'est un peu comme apprendre de nouveaux tours à un chien-il faut trouver les bonnes friandises pour le motiver !

Avec des recherches supplémentaires et un focus sur l'utilisation de données de haute qualité, ces modèles pourraient devenir encore plus capables et fiables. Et qui sait ? Peut-être qu'un jour, ils pourront discuter avec toi en islandais sans aucun souci !