Améliorer le calcul symbolique avec l'apprentissage automatique
Cette étude examine comment l'apprentissage automatique améliore la sélection des variables dans le calcul symbolique.
― 6 min lire
Table des matières
- L'importance de l'analyse des données
- Introduction à l'Augmentation de données
- L'étude de cas : Choisir des ordres de variables dans la DAC
- Méthodes pour sélectionner les ordres de variables
- Paradigmes d'apprentissage automatique
- Défis avec le paradigme de classification
- Les résultats de l'augmentation de données
- Transition vers la régression
- Comparaison des performances entre classification et régression
- Limitations des approches actuelles
- Directions futures
- Conclusion
- Source originale
- Liens de référence
L'Apprentissage automatique (AA) est devenu un outil essentiel dans divers domaines, y compris le Calcul symbolique, qui s'occupe des expressions mathématiques et des algorithmes. Cette étude se concentre sur comment l'AA peut améliorer le calcul symbolique, surtout dans le choix des Ordres de Variables pour la Décomposition algébrique cylindrique (DAC), une méthode utilisée pour traiter des ensembles de polynômes.
L'importance de l'analyse des données
Avant d'appliquer des techniques d'AA, c'est super important d'examiner les données à fond. Analyser les ensembles de données peut aider à identifier leur structure, leurs forces et leurs faiblesses. Dans notre cas, l'ensemble de données qu'on a utilisé pour cette étude était déséquilibré, ce qui veut dire que certains ordres de variables étaient beaucoup plus courants que d'autres. Quand un ensemble de données est déséquilibré, les modèles d'AA peuvent devenir biaisés vers les résultats les plus courants.
Augmentation de données
Introduction à l'Pour résoudre le problème d'un ensemble de données déséquilibré, on a appliqué une technique connue sous le nom d'augmentation de données. Cette méthode consiste à créer de nouveaux points de données à partir de ceux existants pour créer une représentation plus équilibrée. Dans le contexte de notre étude, on a généré de nouveaux exemples en permutant les noms de variables dans nos ensembles de polynômes. Ça nous permet de créer plusieurs instances pour chaque instance existante tout en gardant les résultats liés aux instances originales.
L'étude de cas : Choisir des ordres de variables dans la DAC
On se concentre sur la DAC, un outil puissant qui décompose l'espace réel en régions distinctes. L'ordre dans lequel les variables sont traitées affecte énormément l'efficacité de la DAC. Si l'ordre des variables est choisi correctement, l'algorithme peut mieux fonctionner, réduisant le temps et la consommation de ressources.
Méthodes pour sélectionner les ordres de variables
Traditionnellement, on a utilisé des heuristiques conçues par des humains pour décider de l'ordre des variables dans la DAC. Ces règles, bien que efficaces, peuvent varier en qualité, entraînant des performances incohérentes. C'est là que l'AA peut intervenir pour fournir une approche plus systématique.
Paradigmes d'apprentissage automatique
Il y a plusieurs façons d'appliquer l'AA dans notre contexte. Deux paradigmes principaux sont la classification et la régression.
- Classification consiste à entraîner un modèle pour choisir la meilleure option parmi un ensemble de possibilités distinctes.
- Régression se concentre sur la prédiction d'une variable continue, comme le temps nécessaire pour calculer la DAC pour un ordre spécifique.
Les deux paradigmes ont leurs avantages et conviennent à différentes tâches. Dans notre étude, on a testé les deux approches pour voir laquelle donnait de meilleurs résultats dans le choix de l'ordre de variables optimal.
Défis avec le paradigme de classification
Dans l'un de nos tests, on a remarqué que les modèles entraînés avec le paradigme de classification souffraient de biais à cause de notre ensemble de données déséquilibré. Les modèles avaient tendance à favoriser l'ordre de variables le plus courant, ce qui a entraîné une efficacité plus faible quand on les a testés sur un ensemble de données équilibré.
Les résultats de l'augmentation de données
Une fois qu'on a appliqué l'augmentation de données, les performances de nos modèles d'AA se sont nettement améliorées. En équilibrant l'ensemble de données, on a obtenu de meilleurs résultats dans le choix des ordres de variables. En particulier, on a vu une amélioration moyenne de 28 % des performances du modèle lorsqu'on les a évalués sur l'ensemble de données équilibré.
Transition vers la régression
Bien que l'approche de classification ait apporté certains avantages, on a exploré le paradigme de régression. Avec la régression, au lieu de juste choisir le meilleur ordre de variables, nos modèles estimaient le temps qu'il faudrait pour calculer la DAC pour chaque ordre. Cette information plus riche nous a permis de prendre des décisions plus intelligentes, car on pouvait classer les ordres en fonction de leur performance attendue.
Comparaison des performances entre classification et régression
Après avoir testé les deux paradigmes, on a observé que les modèles entraînés sous régression surperformaient généralement ceux entraînés sous classification en termes de sélection des ordres de variables les plus efficaces. Les modèles de régression avaient en plus l'avantage de donner une compréhension plus nuancée de la façon dont différents ordres allaient performer.
Limitations des approches actuelles
Bien que nos résultats soient prometteurs, on a aussi identifié des limitations. Par exemple, l'utilisation de modèles de régression nécessitait un réglage minutieux des hyperparamètres, ce qui pouvait être un défi. De plus, on a réalisé que la méthode d'entrée des données polynomiales dans nos modèles pourrait bénéficier d'un raffinement supplémentaire pour gérer plus souplement les nombres variables de variables.
Directions futures
L'étude ouvre diverses nouvelles avenues pour de futures recherches. Un domaine prometteur est l'amélioration des représentations d'entrée pour les modèles d'AA, possiblement en incluant des informations supplémentaires provenant des polynômes. Ça peut aider à entraîner des modèles encore plus robustes et capables de gérer des cas complexes.
En plus, explorer davantage des techniques d'augmentation de données plus avancées pourrait donner des performances encore meilleures. En s'inspirant de la vision par ordinateur, on pourrait explorer différentes façons de modifier les données polynomiales pour générer de nouveaux exemples d'entraînement.
Conclusion
En résumé, adopter des méthodes d'apprentissage automatique dans le calcul symbolique, surtout pour choisir les ordres de variables dans la DAC, a été une entreprise fructueuse. L'utilisation de l'analyse de données et de l'augmentation a permis de créer de meilleurs modèles, menant à une amélioration de l'efficacité. Bien que des défis subsistent, particulièrement en ce qui concerne la représentation des modèles et le réglage des hyperparamètres, les idées tirées de cette étude fournissent une base solide pour de futurs travaux dans ce domaine.
Titre: Lessons on Datasets and Paradigms in Machine Learning for Symbolic Computation: A Case Study on CAD
Résumé: Symbolic Computation algorithms and their implementation in computer algebra systems often contain choices which do not affect the correctness of the output but can significantly impact the resources required: such choices can benefit from having them made separately for each problem via a machine learning model. This study reports lessons on such use of machine learning in symbolic computation, in particular on the importance of analysing datasets prior to machine learning and on the different machine learning paradigms that may be utilised. We present results for a particular case study, the selection of variable ordering for cylindrical algebraic decomposition, but expect that the lessons learned are applicable to other decisions in symbolic computation. We utilise an existing dataset of examples derived from applications which was found to be imbalanced with respect to the variable ordering decision. We introduce an augmentation technique for polynomial systems problems that allows us to balance and further augment the dataset, improving the machine learning results by 28\% and 38\% on average, respectively. We then demonstrate how the existing machine learning methodology used for the problem $-$ classification $-$ might be recast into the regression paradigm. While this does not have a radical change on the performance, it does widen the scope in which the methodology can be applied to make choices.
Auteurs: Tereso del Río, Matthew England
Dernière mise à jour: 2024-06-20 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2401.13343
Source PDF: https://arxiv.org/pdf/2401.13343
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.
Liens de référence
- https://doi.org/10.1016/j.jsc.2022.08.021
- https://doi.org/10.1007/978-3-319-10575-8_11
- https://doi.org/10.1016/j.jsc.2022.08.001
- https://doi.org/10.1007/978-3-642-39320-4_2
- https://doi.org/10.1016/j.jsc.2019.07.008
- https://doi.org/10.1006/jsco.2001.0463
- https://www.usna.edu/Users/cs/wcbrown/research/ISSAC04/handout.pdf
- https://doi.org/10.1145/1277548.1277557
- https://doi.org/10.1007/978-3-030-52200-1_29
- https://doi.org/10.1007/978-3-662-44199-2_65
- https://doi.org/10.1007/978-3-030-52200-1_28
- https://doi.org/10.1007/3-540-07407-4_17
- https://doi.org/10.1016/S0747-7171
- https://doi.org/10.1038/s41586-021-04086-x
- https://ceur-ws.org/Vol-3455/
- https://doi.org/10.1007/978-3-031-14788-3_17
- https://doi.org/10.1145/1005285.1005303
- https://doi.org/10.1007/978-3-030-23250-4_7
- https://ceur-ws.org/Vol-2460/
- https://doi.org/10.1007/978-3-030-43120-4_27
- https://doi.org/10.1145/120694.120701
- https://doi.org/10.1007/978-3-031-42753-4_21
- https://doi.org/10.1109/SYNASC.2016.020
- https://doi.org/10.1007/s11786-019-00394-8
- https://doi.org/10.1007/978-3-319-08434-3_8
- https://openreview.net/forum?id=vNsdFwjPtL
- https://doi.org/10.1007/978-3-030-60026-6_20
- https://doi.org/10.1007/978-1-4614-6849-3
- https://doi.org/10.48550/ARXIV.1912.01412
- https://doi.org/10.1145/3452143.3465520
- https://doi.org/10.1007/978-3-642-32347-8_1
- https://proceedings.mlr.press/v119/peifer20a.html
- https://doi.org/10.1016/j.jsc.2023.102276
- https://doi.org/10.1007/978-3-030-72013-1_16
- https://doi.org/10.1186/s40537-019-0197-0
- https://doi.org/10.1109/ICMLA.2016.0064
- https://ceur-ws.org/Vol-2752/
- https://doi.org/10.1109/SYNASC.2014.15
- https://doi.org/10.1613/jair.2490