Génération d'idées innovantes avec l'aide de l'IA

L'innovation, c'est un process créatif qui peut être compliqué à reproduire. Ça implique une structure et des workflows qui aident les innovateurs à apprendre de leurs expériences passées, ce qui rend plus facile la création et la validation de nouvelles idées. Mais bon, trop de règles et de processus peuvent étouffer la créativité et ralentir l'innovation. Par exemple, si le process de remplir un questionnaire semble trop écrasant, ça peut freiner l'émergence de nouvelles idées.

Les bonnes idées novatrices ressemblent souvent à des précédentes mais peuvent proviennent de domaines différents. Malheureusement, les innovateurs ne vérifient pas souvent les idées passées similaires, soit parce qu'ils manquent de temps, soit parce qu'ils veulent éviter d'être influencés par le travail existant. On pense qu'il y a une méthode secrète que les innovateurs expérimentés utilisent pour suggérer des approches utiles pour des problèmes spécifiques. S'il y a une base de données riche sur les innovations antérieures dans une entreprise, ce serait utile de la parcourir d'une manière qui soutienne ceux qui travaillent sur des problèmes actuels. Même si on ne cherche pas à automatiser complètement l'innovation, on propose d'utiliser une IA comme un tuteur ou un partenaire pour aider les innovateurs à trouver des idées. Ça inclut non seulement la recherche de travaux antérieurs mais aussi la suggestion de nouvelles solutions.

Les Modèles de Langage de Grande Taille (LLMs) sont efficaces pour lire et interpréter de grandes quantités de texte et générer des réponses créatives. Avec les avancées des modèles fondamentaux et des méthodes de fine-tuning, on peut prendre des modèles pré-entraînés et les ajuster avec des données privées qui doivent rester confidentielles.

Dans ce travail, on se concentre sur des propositions d'innovation internes au sein des entreprises, comme des bases de données de soumission d'idées. Bien que les innovateurs aient accès à toutes les innovations précédentes, ils limitent souvent leurs recherches à de simples correspondances de mots-clés. Même lorsqu'ils trouvent des projets pertinents, il peut leur falloir beaucoup de temps pour les trier et en tirer des leçons utiles.

Résoudre des problèmes, c'est rarement un chemin tout droit et ça se ramifie généralement en différentes possibilités. Mimer ce process de pensée peut améliorer la capacité de raisonnement des LLMs. On crée une structure en forme d'arbre où les problèmes se connectent aux solutions et où les solutions renvoient aux problèmes, en utilisant des LLMs finement ajustés localement. On enrichit encore cet arbre avec des branches de problèmes sémantiquement similaires issus d'une base de données interne d'idées. Cet arbre est conçu pour être exploré avec des options pour revenir en arrière, permettant différents niveaux de créativité.

On démontre que les LLMs peuvent être efficaces pour être finement ajustés afin d'assister dans cette Exploration avec un nombre limité de paires problème-solution. De plus, les espaces de problèmes et de solutions peuvent être efficacement examinés tout en restant dans un domaine sémantique pertinent.

En guise de preuve de concept, on a créé et intégré cette méthode d'exploration dans un bot Slack qui sert d'assistant à l'innovation.

#Travaux Connus

L'utilisation des machines et de l'IA pour soutenir la créativité et la génération d'idées est un domaine bien étudié dans l'Interaction Humain-Machine (HCI). Différentes applications des LLMs se sont concentrées sur la génération d'idées. Les outils de soutien à la créativité ont été utilisés avec succès pour connecter les créateurs et leur permettre de peaufiner les idées des autres de manière collaborative. Les premiers outils se concentraient principalement sur l'amélioration des innovations existantes et l'exploration de travaux connexes pour accélérer l'innovation.

Les recherches ont montré que ces outils peuvent avoir un impact positif sur la quantité et la qualité des idées produites. Par exemple, un bot IA qui aide à la génération d'idées peut améliorer à la fois le nombre et la qualité des idées par rapport aux facilitateurs humains en réduisant les pressions sociales et les biais. De plus, les LLMs ont été utilisés comme assistants pour l'écriture créative, fournissant des brouillons basés sur des genres et des intrigues spécifiques.

Un modèle notable appelé Tree-of-Thought (ToT) a été développé pour résoudre systématiquement des types spécifiques de problèmes en utilisant la logique. Notre travail s'appuie sur cette base, permettant aux utilisateurs de choisir comment explorer les solutions potentielles et d'apprendre par différentes méthodes sans étudier le même problème de façon linéaire.

#Modèle

#Espaces de Déclarations de Problèmes et de Solutions

On modélise notre approche comme deux mappings connectés. Un mapping fait référence au passage des déclarations de problèmes aux déclarations de solutions, tandis que l'autre va des déclarations de solutions aux déclarations de problèmes. Ces deux mappings ne sont pas des inverses exacts l'un de l'autre.

Avant de discuter de notre modèle, notons qu'il existe des façons établies de traduire du texte en vecteurs de haute dimension. Ceux-ci sont souvent appelés Embeddings et sont appris à partir de texte via des réseaux neuronaux. Ces embeddings ont des dimensions variées. Par exemple, les embeddings utilisés dans des services comme ChatGPT sont souvent dans les centaines à milliers.

Quand on parle d'un "espace de déclarations de problèmes", on parle d'un sous-ensemble d'un ensemble plus grand basé sur le nombre de segments dans lesquels une déclaration de problème peut être divisée pour l'embedding. De même, l'"espace des déclarations de solutions" est un sous-ensemble basé sur comment les déclarations de solutions peuvent être divisées.

#Mapping Entre Espaces de Déclarations en Utilisant des LLMs

Pour passer d'un espace à un autre, on utilise des LLMs suivant le design Transformer. Bien que les LLMs de base puissent faire ces mappings, on les adapte pour mieux convenir à notre cas d'utilisation en les ajustant sur un ensemble plus petit d'exemples spécifiques (problème-solution).

Ajuster tous les paramètres du LLM de base est coûteux, donc au lieu de ça, on ne modifie que les poids de sa matrice Transformer grâce à une méthode connue sous le nom d'Adaptation de Bas-Rang (LoRA). Cela nous permet de maintenir plusieurs adaptations pour différents cas d'utilisation tout en étant efficaces.

Pour notre travail, on utilise un LLM de base spécifique et prépare deux adaptations : une pour mapper des problèmes à des solutions et l'autre pour le reverse.

#Exploration des Espaces de Déclarations de Problèmes

L'objectif est de créer un "Assistant d'Idéation" qui part d'une déclaration de problème peu claire et fournit des options liées pour stimuler la créativité. Ces déclarations connexes sont définies par leurs embeddings étant étroitement liés à l'embedding du problème original.

On peut trouver des déclarations de problèmes connexes par deux méthodes : sélection et échantillonnage. Dans la sélection, on choisit des déclarations de problèmes d'une base de données qui sont similaires à l'entrée. Pour l'échantillonnage, on génère une nouvelle déclaration de problème à partir d'une entrée fournie en utilisant nos mappings.

En utilisant les opérations LLM en avant et en arrière, on s'attend à ce que la nouvelle déclaration de problème générée diffère légèrement de l'originale, mais reste très pertinente. Ce process sert non seulement à clarifier la déclaration originale mais aussi à créer des versions nouvelles et complètement grammaticalement correctes.

#Assurer la Proximité de l'Échantillonnage et le Rôle de la Température des LLM

Quand on parle de connexité, on suppose que les problèmes liés par une haute similarité seront également liés à des solutions pertinentes via nos mappings LLM. Le paramètre de température dans nos modèles aide à gérer la randomness de la sortie.

Des réglages de basse température ont tendance à produire des réponses cohérentes, alors que des réglages plus élevés permettent plus de créativité mais peuvent mener à des résultats moins liés. Cet équilibre est crucial pour notre objectif de soutenir l'idéation créative.

#Exploration Plus Large de l'Espace des Déclarations de Problèmes

En utilisant notre approche de traversée d'arbre, on peut générer non seulement une nouvelle déclaration de problème mais aussi plusieurs options connexes qui découlent du problème d'entrée original. Cette méthode nous permet d'explorer plus profondément en appliquant notre approche de manière itérative à de nouvelles déclarations ou à des déclarations connexes connues.

En traitant continuellement des déclarations voisines, on peut rechercher à travers la structure en forme d'arbre que nous avons créée, conduisant à des solutions plus innovantes.

#Algorithme

Pour mettre en œuvre notre exploration, on définit quelques opérations clés. Quand on prend une entrée de déclaration de problème, on note comment elle se lie à des solutions connues, permettant de découvrir les connexions entre les deux couches.

Notre exploration est configurée pour récupérer systématiquement des déclarations connexes connues et générer de nouvelles idées, en utilisant à la fois la popularité des connexités et l'adaptabilité de nos mappings LLM.

#Évaluation

Pour tester notre approche, on a utilisé un jeu de données dérivé d'une liste publique d'entreprises et de leurs problèmes. Étant donné le manque de jeux de données à grande échelle correctement mappés sur les innovations, on a compté sur les LLMs pour aider à séparer les problèmes des solutions sur la base de prompts que nous avons élaborés.

Sur les 400 entreprises que nous avons testées, notre modèle a réussi à analyser des paires problème-solution valides pour près de 80% d'entre elles. Ce jeu de données a servi de cadre d'évaluation, nous permettant d'estimer la performance de notre modèle en matière de mapping et de génération d'idées.

#Validation de l'Entraînement du Modèle

Notre objectif final est de développer un bot capable d'assister à l'innovation interne. Pour ce faire, nous avons affiné un modèle de fondation publique sur un petit ensemble d'exemples, en utilisant un jeu de données spécifique pour les deux mappings.

Le process d'entraînement pour chaque mapping était court, prenant seulement environ 19 minutes sur des GPU puissants. On stocke également les problèmes dans une base de données vectorielle pour une récupération efficace.

Lors des évaluations, notre fine-tuning a maintenu le sens global du texte tout en s'écartant du wording exact, ce qui est important pour notre objectif d'améliorer l'exploration d'idées. Des comparaisons avec des modèles aléatoires et des services AI externes ont démontré l'efficacité de notre approche.

#Expérience d'Exploration

Pour nos expériences, on visait à générer 100 solutions distinctes basées sur un seul prompt. Le process impliquait de donner le prompt à notre modèle, de trouver des problèmes connexes, de générer de nouvelles solutions et ensuite d'examiner de manière récursive toutes les sorties pour produire un large éventail d'idées.

Comme prévu, augmenter la température utilisée pendant la génération a mené à des sorties plus nouvelles. On a répété cela pour différents réglages et rassemblé des données sur les solutions générées.

#Mise en œuvre

On a intégré notre solution avec Slack, permettant aux utilisateurs d'accéder facilement et d'explorer des idées d'innovation. Les utilisateurs peuvent suggérer au bot avec une étiquette, et celui-ci présentera des problèmes et des solutions connexes disponibles pour une exploration plus approfondie.

La configuration backend garantit que nos modèles sont opérationnels dans l'interface Slack, permettant des interactions rapides sans avoir besoin de recharger constamment les données. De plus, on a utilisé diverses sources documentaires pour fournir des guides sur la mise en œuvre des solutions.

#Conclusion

Grâce à notre approche, on a démontré une exploration efficace d'un cadre problème-solution basé sur des connexions sémantiques. L'interaction entre la température des LLM, le fine-tuning et les recherches par voisinage maintient les sorties générées pertinentes tout en encourageant des solutions créatives et nouvelles.

En résumé, notre méthode offre une manière unique de naviguer à travers les complexités de la génération et du perfectionnement d'idées, en utilisant des outils et des techniques avancées pour faciliter le process.