Évaluer le raisonnement abstrait avec l'ARC

Le Corpus de Raisonnement Abstrait (ARC) est un test qui vise à mesurer à quel point les humains et les machines peuvent réfléchir de manière abstraite. Il se compose de diverses tâches visuelles qui nécessitent des compétences en résolution de problèmes. L'objectif de l'ARC est de voir à quel point un résolveur, qu'il soit humain ou artificiel, peut déduire les motifs et les règles derrière différentes tâches sans formation préalable sur ces tâches spécifiques.

L'ARC contient 1 000 tâches uniques, dont 800 accessibles pour la recherche et 200 réservées à des fins d'évaluation. Chaque tâche consiste en une grille remplie de symboles ou de couleurs. Les résolveurs doivent comprendre comment prédire la grille de sortie correcte en fonction des motifs dans une grille d'entrée donnée.

#Caractéristiques des Tâches ARC

Chaque tâche ARC est structurée avec des paires entrée-sortie. L'entrée présente au résolveur une grille remplie de symboles, tandis que la sortie est la grille que le résolveur doit prédire. Les tailles de grille peuvent varier de petite à grande, et chaque cellule peut afficher l'un des plusieurs symboles. Ce setup exige que les résolveurs non seulement reconnaissent les motifs, mais exécutent aussi un raisonnement logique pour déterminer la sortie correcte.

Un aspect important des tâches ARC est que les résolveurs doivent générer leurs réponses sans formation explicite pour chaque tâche. L'ARC est construit sur le principe que les résolveurs devraient utiliser leurs connaissances et capacités de raisonnement existantes pour résoudre les tâches présentées.

#Exigences de Connaissance de Base

Pour résoudre avec succès les tâches ARC, il est attendu que les résolveurs aient une compréhension fondamentale de plusieurs concepts :

1. Objectivité : Cela implique de reconnaître et comprendre les objets dans la grille, leur permanence et comment ils interagissent les uns avec les autres.

2. Orientation vers un But : Cela fait référence à la compréhension des processus et des transitions d'un point de départ à un point d'arrivée dans une grille.

3. Nombres et Comptage : Les résolveurs devraient être capables d'interpréter des quantités et d'effectuer des opérations comme la comparaison et le tri en fonction de la fréquence et de la taille.

4. Géométrie et Topologie : La connaissance des formes, de la symétrie et de la façon dont les objets se rapportent spatialement est essentielle pour résoudre de nombreuses tâches.

#Raisonnement et Résolution de Problèmes avec VIMRL

Pour résoudre les tâches ARC, un langage unique appelé Langage de Raisonnement par Imagerie Visuelle (VIMRL) est utilisé. Le VIMRL est conçu spécifiquement pour les tâches de raisonnement dans l'ARC. Il se concentre sur la façon dont les instructions sont séquencées pendant l'exécution du programme plutôt que sur les instructions spécifiques elles-mêmes.

L'objectif principal du système de raisonnement est de chercher des programmes qui peuvent résoudre efficacement les tâches présentées dans l'ARC. En utilisant le VIMRL, le système génère des solutions potentielles aux tâches en examinant les règles et les motifs intégrés dans les grilles.

#Exécution des Programmes VIMRL

Quand un programme VIMRL est exécuté, il détient un état qui inclut des variables définies, leurs valeurs, et la ligne d'exécution actuelle. Le programme commence avec deux variables prédéfinies : une pour la grille d'entrée et une pour la couleur de fond. Les opérations dans VIMRL peuvent être classées en deux types :

1. Opérations de Bas Niveau : Ce sont des fonctions simples qui nécessitent des entrées spécifiques et les manipulent directement.

2. Opérations de haut niveau : Ces fonctions analysent la grille de manière plus globale et peuvent déduire des arguments supplémentaires basés sur l'état actuel du programme.

Un exemple d'une opération de bas niveau est celle qui coupe des pixels supplémentaires d'une image, créant une boîte de délimitation propre autour des objets. Les opérations de haut niveau peuvent employer des règles basées sur la physique ou des relations spatiales pour interagir avec les éléments de la grille.

#Modification des Tâches avec des Fonctions de Haut Niveau

Lors de l'exécution d'un programme VIMRL qui inclut à la fois des opérations de haut et de bas niveaux, les opérations de bas niveau précédentes doivent être prises en compte lorsque la fonction de haut niveau est appelée. Si une fonction de haut niveau est exécutée sans tenir compte des changements apportés dans les opérations précédentes, les résultats peuvent ne pas s'aligner correctement avec les exigences de la tâche.

Pour y remédier, chaque fonction de haut niveau utilise les instructions précédemment exécutées pour modifier les paires entrée-sortie. Cela garantit que la fonction de haut niveau a les bonnes informations à analyser lors de la génération de sa sortie.

#Types d'Opérations dans VIMRL

VIMRL propose plusieurs opérations, y compris des fonctions de bas et de haut niveaux. La conception de ces opérations est guidée par les connaissances fondamentales identifiées pour l'ARC. Elles facilitent une variété de tâches, avec la mise en œuvre inspirée par des observations provenant du dataset public de l'ARC.

Le système actuel comprend 11 opérations de haut niveau et 41 opérations de bas niveau, permettant diverses manières d'interagir avec et de résoudre les tâches présentées dans l'ARC.

#Recherche de Solutions

Le système utilise un algorithme de recherche pour trouver des programmes VIMRL adaptés à des tâches spécifiques de l'ARC. Ce processus de recherche implique de générer des programmes candidats et de valider leur efficacité en fonction de leur performance sur les tâches d'entraînement. La recherche fonctionne en cycles de génération, d'exécution et de test des programmes potentiels jusqu'à ce que le nombre requis de solutions valides soit trouvé, ou que la limite de temps soit atteinte.

Il y a deux principales stratégies de recherche :

1. Recherche de Force Brute : Cette approche génère tous les programmes possibles basés sur la grammaire VIMRL et teste systématiquement chacun d'eux. Cependant, cette méthode peut rapidement mener à un nombre écrasant d'options.

2. Recherche Stochastique : Cette stratégie échantillonne des nœuds successeurs potentiels basés sur des modèles dérivés des programmes existants réussis. En s'appuyant sur les interactions apprises entre les opérations, elle augmente la probabilité de trouver des solutions efficaces sans explorer chaque possibilité.

Pour gérer l'espace de recherche et améliorer l'efficacité, le programme limite la profondeur de recherche et élimine les programmes logiquement équivalents pour éviter des calculs inutiles.

#Résultats et Performance

Les résultats de l'utilisation de VIMRL et des stratégies de recherche associées ont montré des promesses significatives. Lors des évaluations, le système a terminé à la 4ème place dans un défi mondial, démontrant sa capacité à raisonner efficacement sur un large éventail de tâches.

Les améliorations apportées aux algorithmes de recherche et à l'efficacité opérationnelle indiquent que des développements supplémentaires pourraient encore donner de meilleurs résultats à l'avenir.

#Directions Futures

Le travail en cours vise à élargir l'ensemble des programmes et des opérations disponibles dans VIMRL, en se concentrant sur ceux qui peuvent être largement appliqués tout en minimisant le risque de surcharger l'espace de recherche. En augmentant le dataset de vérité terrain des programmes réussis, le système peut améliorer ses capacités de raisonnement et améliorer la façon dont les tâches sont abordées.

De plus, il y a un intérêt à étudier comment les caractéristiques visuelles des tâches corrèlent avec l'exécution réussie des fonctions de résolution. Cette compréhension pourrait mener à des opérations plus rationalisées qui ciblent efficacement des types spécifiques de tâches, renforçant ainsi la performance.

En résumé, l'ARC offre un paysage riche pour l'étude du raisonnement abstrait. À mesure que la recherche se poursuit, le potentiel de créer des systèmes robustes capables de résoudre des tâches visuelles complexes ne fera qu'augmenter, ouvrant la voie à des avancées dans l'intelligence artificielle et les modèles de raisonnement.