Révolution de la programmation visuelle rapide et abordable

La Programmation visuelle existe depuis un moment, mais elle repose souvent sur des Modèles de langage volumineux (LLMs) pour générer du code pour des tâches visuelles comme répondre à des questions sur des images. Cependant, utiliser ces modèles peut être lent et coûteux. Cet article discute d'une nouvelle méthode qui peut créer des programmes visuels sans avoir besoin de ces modèles au moment de l'inférence, rendant le processus plus rapide et moins cher.

#Le Problème avec les Méthodes Actuelles

Demander aux LLMs de générer du code a plusieurs inconvénients. Ça peut coûter cher, être lent, et ce n'est pas toujours fiable. De plus, améliorer ces méthodes nécessite souvent beaucoup de données annotées, ce qui peut être difficile à rassembler. Notre objectif est de développer un système capable de générer des programmes visuels efficacement, sans dépendre lourdement des LLMs ou d'une grande quantité d'annotations de programmes et de réponses.

#Notre Approche

On propose de décomposer les programmes visuels en deux composants principaux : des modèles et des Arguments. Les modèles sont les compétences ou procédures de haut niveau, tandis que les arguments sont les détails spécifiques dont le programme a besoin pour fonctionner. Par exemple, si le programme doit compter des objets d'une certaine couleur, le modèle serait l'action de compter, tandis que la couleur et le type d'objet seraient les arguments.

#Augmentation des Données

Pour créer des exemples et améliorer nos modèles, on utilise une méthode appelée Augmentation de données synthétiques. En prenant des modèles existants et en remplaçant leurs arguments par des similaires, on peut générer de nouvelles données d'entraînement. Ça nous permet d'entraîner des modèles plus petits efficacement.

#Résultats

On a testé notre approche sur des jeux de données de réponse à des questions visuelles courants. Nos résultats montrent qu'en utilisant seulement un petit ensemble de paires question/réponse et d'annotations de programmes, des modèles plus petits ont des performances comparables à celles de modèles plus gros à la pointe de la technologie, tout en étant beaucoup plus rapides et moins chers.

#Avantages de Notre Méthode

1. Rentable : Notre approche nécessite moins de données annotées, réduisant les coûts.
2. Plus Rapide : Générer des programmes avec notre méthode est beaucoup plus rapide que les méthodes traditionnelles basées sur des prompts.
3. Plus Facile à Améliorer : Avec moins de dépendances vis-à-vis des prompts, améliorer le système est plus simple et nécessite moins de données.

#Travaux Connus

Beaucoup ont essayé d'améliorer la programmation visuelle sans changer les modèles de base. Ces efforts incluent la correction des programmes, leur refactorisation pour de meilleures performances, et la sélection des bons exemples à utiliser lors de la génération de programmes. Cependant, ces méthodes rencontrent toujours les mêmes problèmes de lenteur et de coûts élevés.

#Notre Méthode en Détail

#Décomposition des Modèles et des Arguments

On définit les modèles comme des séquences structurées d'opérations, qui restent les mêmes peu importe la question posée. Par exemple, "Compter les pommes rouges" et "Compter les pommes vertes" utiliseraient le même modèle de comptage, ne différant que par les arguments de couleur.

#Correspondance et Remplissage

Notre processus de génération de programmes implique deux étapes principales :

1. Correspondance de Modèles : Étant donné une question, on trouve le meilleur modèle correspondant.
2. Remplissage : On complète les arguments basés sur le modèle correspondant pour créer un programme complet.

#Techniques d'Augmentation des Données

On crée des données synthétiques en remplaçant des arguments dans des questions et programmes existants. Ça aide à élargir notre ensemble d'entraînement sans nécessiter beaucoup de travail supplémentaire.

#Auto-Annoter

On a aussi développé une méthode d'Auto-annotation qui utilise à la fois notre approche basée sur des modèles et les LLMs pour améliorer notre base de données. Ça réduit le coût et le temps nécessaires pour créer des données d'entraînement.

#Configuration Expérimentale

Nos expériences ont comparé notre approche avec des méthodes traditionnelles basées sur des prompts. On s'est concentré sur la performance, le coût et l'efficacité, en évaluant comment notre méthode basée sur des modèles a fait face à des modèles établis.

#Vue d'Ensemble des Résultats

Les résultats de nos tests ont montré :

• Les modèles et les arguments ont significativement amélioré les performances.
• La méthode basée sur des modèles était plus rapide et moins chère.
• Moins de dépendance aux LLMs était bénéfique pour l'évolutivité.

#Défis et Limitations

Bien que notre méthode montre des promesses, elle partage encore des défis avec les systèmes de programmation visuelle existants. Par exemple, il peut y avoir des ambiguïtés dans les questions menant à des réponses incorrectes, et le temps d'exécution des programmes peut encore être significatif.

#Travaux Futurs

Pour l'avenir, on prévoit d'explorer :

• La valeur des annotations de programmes par rapport aux annotations de réponses.
• Comment améliorer la précision des annotations de programmes.
• Une intégration plus poussée des méthodes pour la correction et l'amélioration des programmes.

#Conclusion

Notre recherche démontre qu'il est possible de créer des systèmes de programmation visuelle qui sont rapides, peu coûteux et efficaces sans dépendre lourdement des LLMs. En se concentrant sur la décomposition des programmes en modèles et arguments, on pense pouvoir accélérer le développement et l'accessibilité des outils de programmation visuelle pour un public plus large.

Cet article met en avant les avancées dans la programmation visuelle, la rendant plus accessible et efficace pour tout le monde, même si ce ne sont pas des scientifiques ou des programmeurs !