Que signifie "Masque d'attention"?

Table des matières

Les masques d'attention sont des outils utilisés dans les modèles qui traitent des infos, comme du texte ou des images. Ils aident le modèle à décider quelles parties de l'input doivent être mises en avant pendant ses calculs.

Avec les masques d'attention, certains tokens ou parties de l'input peuvent être marqués pour être inclus dans le traitement ou ignorés. C'est super utile quand l'input contient des infos qui n'ont rien à voir ou quand certaines choses doivent rester hors de la vue pour que le modèle fonctionne mieux.

Par exemple, dans une phrase, si certains mots sont plus importants, un masque d'attention peut mettre en avant ces mots tout en minimisant les moins importants. Ça aide le modèle à mieux piger les idées principales et les relations dans le texte.

Les masques d'attention peuvent aussi adapter la manière dont le modèle gère différents types d'infos. En ajustant les zones sur lesquelles se concentrer, ils peuvent améliorer la précision et l'efficacité. C'est important pour diverses tâches dans le traitement de grandes quantités de données, comme avec des images haute résolution ou de longs prompts de texte.

En gros, les masques d'attention jouent un rôle essentiel pour aider les modèles à travailler plus intelligemment en guidant leur attention vers les parties les plus pertinentes de l'input.