構造化思考自動機で言語モデルを強化する

言語モデル（LM）は、テクノロジーに関する会話の大きな部分を占めるようになったね。質問に答えたりテキストを作成したりするなど、いろんなアプリケーションで使われてる。最近のモデルのリリースやその背景にある重みが公開されたことで、これらのモデルの可能性が広がったんだ。多くの人は人工一般知能（AGI）の実現がまだまだ先だと思ってるけど、文書を検索したりレポートを生成したりするタスクにはLMが役立つことが分かってる。この論文では、言語モデルの正式な実行モデルについて話し、プロセスを簡単にするための新しいフレームワークを紹介するよ。

#実行モデルの必要性

言語モデルにより複雑なタスクをお願いするようになると、テキスト形式で与えるプロンプトを処理するための構造的な方法が必要になってくるんだ。うまく構築されたプロンプトは、チャットの履歴や質問など、異なる種類の情報を取り入れながらも、タスクにしっかり集中できるんだ。これは重要で、LMは私たちが簡単に使える正しくフォーマットされたテキストを提供する必要があるから。明確な実行モデルがないと、システムが複雑すぎて管理が難しくなっちゃう。

#構造化思考オートマトンの紹介

この問題を解決するために、構造化思考オートマトン（STA）を提案するよ。これは自己回帰型言語モデル（ARLM）専用に設計されてる。STAは、ユーザーが「認知プログラム」と呼ぶものを作成できる低レベルな言語なんだ。これらのプログラムはプロンプトを整理し、情報の流れを管理するのに役立つよ。

#主要な概念

STAには、3つの主要なアイデアがあるよ：

1. 構造化プロンプト：LMを明確に導くプロンプト。
2. コミュニケーションチャンネル：プログラムの異なる部分間で情報を転送するためのチャンネル。
3. データフォーマット：情報が整理され、LMが簡単に理解できるようにするフォーマット。

これらのアイデアが組み合わさって、LMのための正式な実行モデルができるんだ。

#言語モデルの仕組み

大規模言語モデル（LLM）は、自己回帰型トランスフォーマーという技術に基づいてる。これは、前に来た単語に基づいて文の次の単語を予測するように設計されてる。つまり、単語のシーケンスを取り込んで次の単語の確率を計算するってこと。これらのモデルを訓練するにはたくさんのリソースと時間が必要だけど、最近の進歩のおかげで特定のタスクに微調整するのが簡単になったんだ。

#言語モデルの実行モデル

ARLMでは、実行モデルは3つの部分から成り立ってるよ：

1. 入力アセンブリ：入力シーケンスの作成方法。
2. トークン生成：既存のシーケンスに基づいて新しいトークンを予測すること。
3. トークン管理：モデルによって生成されたトークンに何が起こるか。

現在、一番一般的な実行モデルは次トークン予測（NTP）で、これはモデルが前のトークンに基づいて次のトークンを予測するってこと。これは多くの生成的LMの基盤となっているんだ。

#実行における特別なトークン

いくつかの実行モデルは、元の言語には含まれない特別なトークンを使ってLMを制御しているよ。例えば、トークンはテキストの始まりや終わりを示したり、特定のタスクを指示したりするのに使われる。これらのトークンはLMに与えられる指示を整理するのに役立つんだ。小さなLMでも、PythonやHTMLのようなプログラミング言語からの特別な構文を理解できるよ。

#実行モデルの役割

STAフレームワークは、LMのためのプログラミング環境を確立する一歩前進なんだ。実行モデルは、プロンプトやツールのような複数のコンポーネントを使うことに伴う複雑さを管理するのに役立つ。これは、LMが求められるタスクを実装するための構造化された方法を提供するんだ。

#言語モデルの未来の方向性

私たちの目標は、LMが象徴的AIアルゴリズムを実行できるように能力を向上させることだよ。STAフレームワークを洗練させて表現力を高めることで、象徴的モデルと接続主義モデルなどAIのさまざまなアプローチをより良くつなげることができる。このことが、新しいモデルの訓練方法やプログラムの実行方法を開くかもしれないね。

#STAの実装

STAは単なる理論モデルではなく、ユーザーがプログラムを書くことを可能にする実践的な実装も含まれてるよ。STAのプログラミング言語の構造は、コミュニケーションチャンネルを宣言し、トークンの取り扱いを指定するプロンプトで構成されてるんだ。

#STAプログラムの例

STAの機能を示すために、LMにユーザーの質問に対する答えを提供するよう指示するシンプルなプログラムを考えてみよう。このプログラムは、LMが初期の答えを生成し、それを見直して問題を修正し、最終的に最終的な答えを提出する手順で構成されてるよ。

entry(initial): ユーザーの質問を受けて、答えを考える
- sentence(text): 一行につき自然言語の文を一つ
prompt(initial): 初期の答えを作成して
- target(question)
> question(text): ユーザーの質問
> ponder[T](thought): あなたは答えについて考える
> answer[N](sentence): あなたの初期の答え
prompt(edit): あなたの答えを反復的に改善する
- target(question)
- target(draft) source(answer) prompt(initial,edit)
> question(text): ユーザーの質問
> draft[N](sentence): あなたの現在の答え
> problems[R]: この答えのすべての問題をリストアップ
> > identify(sentence): 取り組むべき一つの問題
> > consider[S](thought): その問題の解決策
> answer[N](sentence): 修正した答えを書く
> issues(thought): 他に修正すべき問題は残ってる？

この例は、STAの構造とフォーマットがLMに効率的に答えを提供するのをどのように導くかを示してるよ。

#実行トレースと選択アルゴリズム

実行トレースは、プログラムがどのように実行されるかを追跡し、LMによって行われた各ステップや決定を記録するのに役立つんだ。選択アルゴリズムは、複数の選択肢があるときにLMがどの道を選ぶべきかを決定する。これにより、実行中の意思決定を導くことができるんだ。

#結論

構造化思考オートマトンは、言語モデルの動作を洗練する有望な方法を示してるよ。実行モデルを明確化することで、LMが複雑なタスクを処理するのがより効果的になる。これは異なるAIアプローチのギャップを埋める重要な一歩を意味し、さらに革新がもたらされるかもしれない。STAフレームワークを発展させる中で、AIが人間のようなテキストを理解し生成する能力を、これまで以上に洗練された方法で高めていくことを目指してるんだ。