LLMエージェントと社会的規範の形成

最近の大規模言語モデル（LLM）の発展により、これらのモデルをシミュレーションで使う新しい方法が生まれた。これらの設定では、LLMが社会的なシナリオでお互いにやりとりするエージェントとして機能する。この研究は、LLMエージェントが会話を通じて社会的ルールを作り、それに従う方法を探っている。これは、アクスルロッドという研究者が提唱した以前のアイデアに基づいている。

実験の結果、対話を通じてLLMエージェントが複雑な社会的ルールを作り出せることがわかった。例えば、罰を与えない者を罰するルールがある場合がある。これらの発見は、LLMエージェントが社会的相互作用をうまくモデル化できることを証明していて、議論を通じて複雑な戦略やルールが形成される様子を可視化するのに役立つ。今後の研究では、さまざまなシナリオや異なる種類のエージェントを見て、社会的ルールの出現について探る予定だ。

近年、LLMの台頭に伴い、世界中の研究者がLLMを個々のエージェントとして使ったゲーム理論を用いた研究を行っている。例えば、繰り返しゲームを扱った研究では、LLMは自己利益が重要なゲームでは好成績を収めるが、チームワークを必要とするゲームでは苦戦する。別の研究では、LLMエージェントが複雑な交渉を行い、異なる戦略を用いることで結果を改善できることが示された。しかし、過去の研究ではエージェントが協力や裏切りのような単純な選択をすることが多く、LLMの言語スキルを最大限に活かせていなかった。この研究は、LLMがより深い議論をすることで異なる戦略がどのように生まれるかを探ることを目指している。

私たちは、特定の社会的ルールに従わないエージェントを罰するルールであるメタノームという概念に注目した。例えば、 cheatsを罰するルールがある場合、メタノームは cheatsを罰さない者を罰する。アクスルロッドは以前、社会的ルールがどのように形成され安定するかを研究しており、さまざまなネットワークがメタノームの成功にどう影響するかについての研究に繋がっている。その他の研究では、ゲーム環境における性格特性が進化する様子が示されており、LLMがこれらの特性に関連する自然言語を用いて戦略を発展させることができることを示している。これらの発見は、LLMエージェントが言語のやりとりを通じて協力や社会的ルールのような異なる戦略を学んでいけることを示唆している。

私たちは、LLMエージェントが会話中にメタノームを形成できるかを見たかった。この探求は、LLMのグループがどのように振る舞うかについて新しい洞察を提供する。AI開発において、エージェントが他の価値観や社会的規範と並存する中で、自分たちの社会的ルールをどのように作り出すかを見ることは重要だ。

いくつかの研究では、LLMが外部ツールの使い方を学ぶ方法が示されている。この能力により、電卓や検索エンジンのようなリソースを独立して使えるようになる。私たちの実験では、実際のツールの代わりに、LLMエージェントがゲーム内でコマンドを実行できるようにタグを使った。この設定で、ノームを含むゲームのシミュレーションを実行することができた。LLMエージェントの行動をガイドするために、タグ付けシステムを作った。この方法により、エージェントはゲームの文脈に基づいてコマンドを選び、双方向に情報を共有できるようになった。より複雑な戦略の発展とメタノームの自発的な出現を可能にする環境を設計した。

#ノームゲーム

私たちのノームゲームの実験では、アクスルロッドの元の設定を変更して、エージェントが戦略をより自由に発展させられるようにした。各エージェントは「復讐心」や「大胆さ」のレベルを伝えた。例えば、「7分の5」と言って、その性格を考慮しながらゲームを続けることができる。

すべてのエージェントはテストと議論のフェーズを経た。テストフェーズでは、標準コマンドを実行するか、チートするかを選択できた。標準コマンドを使用すると、特定の条件に基づいてランダムなスコアが与えられる。チートはより高いポイントが得られるが、後で明らかになる。

議論フェーズでは、エージェントはスコアについて順番に話した。ここでは、別のエージェントにターンを渡すか、名前を挙げて誰かを罰するかを選ぶことができた。罰を与えるエージェントはポイントを失い、罰を受けたエージェントはより大きなペナルティを受ける。罰の後、新しいスピーカーがランダムに選ばれる。設定はアクスルロッドが使用したものに似ているが、いくつかの調整が加えられた。

議論を管理しやすくするためにエージェントの数を制限し、より動的な変化と戦略の進化を可能にした。

#復讐心と大胆さの制御結果

ノームゲームでは、エージェントに特性レベルのプロンプトが与えられた。私たちは、復讐心や大胆さに基づいてグループ内で議論と罰のイベントがどのように展開されたかを見守った。復讐心が低いときは特性レベルがランダムに割り当てられ、高いときはより高い数字が割り当てられた。各グループは議論中に発言する回数の最大数が制限され、全体の設定は何回も繰り返された。

エージェントが互いを罰する回数はさまざまだった。両方の特性が高いグループは、罰するコマンドをより多く使うことが多かった。一方、特性が低いグループはあまり罰を与えなかった。高い復讐心と大胆さのグループを分析すると、エージェントが互いにチートしたり、対話に基づいて他人を罰したりした例が見つかった。チーターを罰するエージェントは、一般的なチートが存在する場合に自分も罰を受けることがあった。このような行動は、メタノームが議論を通じて自然に生まれることを示している。

#報酬に基づく進化の結果

エージェントの特性がパフォーマンスに基づいて進化する別の実験セットを実施した。議論は前と同様に制限され、発言回数が設定され、実験は数サイクルにわたって行われた。エージェントが関与するにつれて、彼らの特性は特定の値に安定し始めた。 cheatingを罰するエージェントは、復讐心が中程度のレベルを持つことが多かった。

異なる特性レベルを持つエージェント間の議論では、一部のグループが形成されれば、他のグループは形成されないことがあり、行動の全体的なダイナミクスに影響を与えた。エージェントの初期の性格は、時間とともに相互作用する中で彼らの行動に大きく影響した。

#自然言語の進化

過去の研究では、LLMが遺伝的アルゴリズムを使って個性を進化させ、言語の変化をシミュレーションする方法が見られた。私たちの研究では、別のアプローチを取り、エージェントが自分の言葉で個性を表現し、さまざまな会話を通じて進化できるようにした。議論のサイクルが始まるたびに、LLMが異なる個性を生成し、これらのサイクルの終わりに最高のパフォーマンスを示した個性が次のラウンドに引き継がれた。

何回もラウンドを実行する中で、これらの個性が時間とともにどのように変化するかを追跡した。その結果、似たような出発点であっても、エージェント間の相互作用に基づいて異なる戦略が生まれることが示された。このアプローチにより、社会的ルールや戦略がどのように形成されるかについての深い洞察が得られ、これらの発見を分析し解釈する際の課題も明らかにされた。

#結論

この研究は、笑顔のシミュレーションを通じて自然言語の会話が社会的ルールの形成にどう寄与するかを探った。アクスルロッドの概念を用いて、LLMが議論を交わし、罰やメタノームについてのルールを形成するゲームを作成し、社会的ノームがどのように形成されるかを示した。エージェントの特性は彼らの意思決定や相互作用に大きな影響を与え、環境での生存戦略におけるこれらの特性のバランスの重要性を指摘している。

言語の使用は戦略の進化に複雑さを加えたが、結果の処理には課題も残った。今後の研究では、異なるシナリオが戦略の発展にどう影響するか、同じ特性がさまざまな文脈でどのように現れるかを探ることができる。グループのサイズが戦略の進化に与える影響を調査し、個性の変化を分析するために心理的な枠組みを適用することは、貴重な洞察を提供するかもしれない。

全体として、この研究は、LLMとのシミュレーションが議論を通じて複雑な社会的ノームや戦略がどのように形成されるかを効果的に示すことができることを示している。この分野でのさらなる研究は、AI開発に役立ち、私たちの人間の社会的行動への理解を深めるかもしれない。