AIの助けを借りた革新的なアイデア創出

イノベーションって、創造的なプロセスなんだけど、繰り返すのが難しいこともある。過去の経験から学ぶための仕組みやワークフローが必要で、新しいアイデアを作ったり検証したりしやすくなるんだ。でも、ルールが多すぎると創造性が抑えられちゃって、イノベーションが遅くなることも。たとえば、アンケート記入のプロセスが複雑すぎると、新しいアイデアが出てこなくなるかも。

いいイノベーションのアイデアは、以前のものに似てることが多いけど、別の分野から来ることもある。残念ながら、イノベーターは過去の似たアイデアを確認することが少ない、時間がないからだったり、既存の仕事に影響を受けたくないからだったりするんだ。経験豊富なイノベーターが特定の問題に対して価値あるアプローチを提案するための隠れた方法があると思ってる。もし組織に過去のイノベーションの豊富なデータベースがあれば、現行の問題に取り組んでいる人たちをサポートするような形で検索するのが役立つだろう。イノベーションを完全に自動化することを目指すわけじゃなくて、アイデアを考えるためのチューターやパートナーとしてAIを使うことを提案してるんだ。これには、前の仕事を見つけるだけでなく、新しい解決策を提案することも含まれる。

大規模言語モデル（LLM）は、大量のテキストを読み解いたり、創造的な反応を生成したりするのに優れてる。基盤モデルやファインチューニングの進歩により、事前に訓練されたモデルを使って、機密のままにしておきたいプライベートなデータで調整することができる。

この作業では、企業内のイノベーション提案、たとえばアイデア提出データベースに焦点を当ててる。イノベーターは過去のイノベーションにアクセスできるけど、しばしば基本的なキーワードマッチに限られて検索してる。関連するプロジェクトを見つけても、それらをすべて調べて有用な教訓を集めるのには時間がかかることが多い。

問題解決は直線的な道ではなく、一般的にいろんな可能性に分かれていく。これを模倣することで、LLMの推論能力を強化できる。問題が解決策に、解決策が問題に戻るように、木のような構造を作る。さらに、この木に内部アイデアデータベースから意味的に類似した問題の枝を豊かに加える。この木は、バックトラックのオプションを使って探索できるように設計されていて、さまざまな創造性レベルを実現する。

LLMを限られた問題-解決ペアで効果的にファインチューニングできることを示す。また、問題空間と解決策空間は、関連する意味的領域に留まりながら効果的に調査できる。

概念実証として、私たちはこの探索手法をSlackボットに統合し、イノベーションアシスタントとして機能するようにした。

#関連研究

機械やAIを使って創造性やアイデア生成をサポートすることは、人間とコンピュータのインタラクション（HCI）でよく研究されている分野だ。LLMのさまざまな応用がアイデア生成に焦点を当ててきた。創造性サポートツールは、クリエイター同士をつなげて、アイデアを共同で洗練するのに成功している。初期のツールは主に既存のイノベーションを改善したり、関連する作業を探求したりしてイノベーションを加速することに焦点を合わせていた。

研究は、これらのツールが生成されるアイデアの量と質にポジティブな影響を与えることを示している。たとえば、アイデア生成を支援するAIボットは、社会的圧力やバイアスを軽減しながら、人間のファシリテーターよりもアイデアの数と質を向上させることができる。また、LLMは創造的なライティングのアシスタントとしても利用されていて、特定のジャンルやプロットに基づいてドラフトを提供している。

「思考の木（Tree-of-Thought、ToT）」という注目すべきモデルが、論理を使って特定のタイプの問題を体系的に解決するために開発された。我々の作業はこの基盤に基づいていて、ユーザーが潜在的な解決策を探求する方法を選択し、同じ問題を線形的に学ぶことなく異なる方法から学ぶことを可能にしている。

#モデル

#問題と解決策のステートメントスペース

私たちのアプローチを二つの接続されたマッピングとしてモデル化している。一つのマッピングは問題のステートメントから解決のステートメントへ向かうもので、もう一つは解決のステートメントから問題のステートメントへ向かうもの。この二つのマッピングは互いの正確な逆ではない。

私たちのモデルについて話す前に、テキストを高次元ベクトルに変換する確立された方法があることを述べるべきだ。これらはしばしば「埋め込み」と呼ばれていて、ニューラルネットワークを通じてテキストから学習される。こうした埋め込みはさまざまな次元を持っていて、たとえば、ChatGPTのようなサービスで使われる埋め込みは通常、数百から数千の範囲だ。

「問題のステートメントの空間」というとき、私たちは埋め込みのために問題のステートメントを何セグメントに分けられるかに基づく、大きな集合のサブセットを指している。同様に、「解決策のステートメントの空間」は解決策のステートメントがどのように分けられるかに基づくサブセットだ。

#LLMを使ったステートメントスペース間のマッピング

ある空間から別の空間に移るために、私たちはTransformerデザインに従ったLLMを利用する。ベースラインのLLMはこれらのマッピングを行うことができるが、特定の（問題-解決）例の小さなセットでファインチューニングすることで、私たちのユースケースにより適合させている。

ベースラインのLLMのすべてのパラメータを調整するのはコストがかかるので、代わりにTransformer行列の重みだけを「ローロンクアダプテーション（LoRA）」という方法で変更する。これにより、異なるユースケースに対して複数の適応を維持しつつ効率的でいられる。

私たちの作業では、特定のベースラインLLMを使用し、問題から解決へ、そしてその逆のマッピングのために二つの適応を準備する。

#問題ステートメントスペースの探求

目指すのは、はっきりしない問題のステートメントからスタートして、創造性を刺激するために関連する選択肢を提供する「アイデア支援アシスタント」を作ること。これらの関連するステートメントは、元の問題の埋め込みに密接に結びついている。

関連する問題のステートメントは二つの方法で見つけることができる。選択とサンプリングだ。選択では、入力に似た問題のステートメントをデータベースから選ぶ。サンプリングでは、提供された入力からマッピングを使って新しい問題のステートメントを生成する。

前方と後方のLLM操作を使って、新しく生成された問題のステートメントは元のものと少し異なるけど、まだ関連が深いことを期待している。このプロセスは、元のステートメントを明確にするだけでなく、完全で文法的に正しい新しいバージョンを作成するのにも役立つ。

#サンプリングの近接性とLLMの温度の役割

関連性について話すとき、高い類似性を通じて結びついた問題は、私たちのLLMマッピングを介して関連する解決策にリンクするだろうと仮定している。モデル内の温度設定は出力のランダム性を管理するのに役立つ。

低い温度設定は一貫した反応を生成する傾向があるが、高い設定はより創造的になる一方で、関連性の低い結果が出ることもある。このバランスは、創造的なアイデア形成を支援するという私たちの目標にとって重要だ。

#問題ステートメント空間のより広い探索

木の探索アプローチを使うことで、元の入力問題から生じる新しい生成された問題ステートメントだけでなく、いくつかの関連するオプションも得ることができる。この方法により、私たちのアプローチを新しいまたは既知の関連したステートメントに対して反復的に適用して、より深く探索できる。

隣接するステートメントを継続的に処理することで、私たちが作成した木の構造を検索し、より革新的な解決策に結びつけることができる。

#アルゴリズム

探索を実施するために、いくつかの基本的な操作を定義する。入力問題ステートメントを取るとき、既知の解決策との関係をメモし、二つのレイヤーの間の接続を明らかにする。

私たちの探索は、知られている関連ステートメントを体系的に取得し、新しいアイデアを生成するように設定されていて、関連性の人気と、私たちのLLMマッピングの適応性を活用している。

#評価

私たちのアプローチをテストするために、公的リストから得られた企業とその問題のデータセットを使用した。適切にマッピングされた大規模なイノベーションデータセットが不足しているため、私たちは作成したプロンプトに基づいてLLMを利用して問題と解決策を分離した。

テストした400社のうち、私たちのモデルはそのうちの約80%に対して有効な問題-解決ペアを解析することができた。このデータセットは私たちの評価フレームワークとして役立ち、モデルのマッピングとアイデア生成のパフォーマンスを評価することができた。

#モデルのトレーニングの検証

最終的な目標は、内部イノベーションを支援できるボットを開発すること。これを達成するために、特定のデータセットを使用して、少数の例で公的な基盤モデルをファインチューニングした。

各マッピングのトレーニングプロセスは短く、強力なGPUで約19分で完了した。また、効率的な取得のために問題をベクトルデータベースに保存している。

評価では、ファインチューニングによりテキストの全体的な意味を維持しつつ、正確な言い回しから逸脱することができ、アイデア探索を強化することを目指している。ランダムモデルや外部AIサービスとの比較により、私たちのアプローチの効果を示した。

#探索実験

私たちの実験では、単一のプロンプトに基づいて100の異なる解決策を生成することを目指した。プロセスは、プロンプトをモデルに提供し、関連する問題を見つけ、新しい解決策を生成し、すべての出力を再帰的に調べて幅広いアイデアを生み出すことを含む。

予想通り、生成中に使用した温度を上げることで、より新しい出力が得られた。さまざまな設定でこれを繰り返し、生成された解決策のデータを集めた。

#実装

私たちは解決策をSlackと統合し、ユーザーがイノベーションアイデアを簡単にアクセスして探索できるようにした。ユーザーがボットにタグを付けてプロンプトを送ると、関連する問題や解決策が次々と表示される。

バックエンドのセットアップにより、私たちのモデルがSlackインターフェース内で操作可能になり、データの再読み込みなしに迅速にやり取りできるようになっている。また、解決策の実装ガイドのためにさまざまな文書ソースも活用している。

#結論

私たちのアプローチを通じて、意味的なつながりに基づいた問題-解決フレームワークの効果的な探索を示した。LLMの温度、ファインチューニング、最近傍探索の相互作用は、生成された出力を関連性のあるものに保ちながら、創造的で新しい解決策を促す。

要するに、私たちの方法はアイデア生成や洗練の複雑さをナビゲートするユニークな方法を提供し、高度なツールや技術を使ってプロセスを促進する。