Que signifie "ALiBi"?

Table des matières

ALiBi ça veut dire "Attention avec des Biais Linéaires". C'est une méthode utilisée dans les modèles de langage, surtout dans les modèles Transformer, pour donner des infos sur la position des mots dans une phrase. Au lieu d'utiliser des numéros fixes pour les positions, ALiBi ajuste sa méthode selon la distance entre les mots.

Cette méthode aide le modèle à comprendre comment les mots se relient les uns aux autres dans des phrases plus longues. C'est conçu pour améliorer la capacité du modèle à faire des tâches qui demandent de connaître l'ordre et la distance des mots, ce qui est important pour la compréhension.

Mais des études récentes montrent que même si ALiBi est super courant, ça pourrait pas être le meilleur choix pour apprendre aux modèles à gérer des entrées textuelles plus longues efficacement. En fait, des méthodes plus simples sans encodage positionnel spécifique, comme NoPE, se sont montrées plus efficaces dans certains cas.