LLMを使ってEコマースの課題に対処する

大規模言語モデル（LLM）は、その便利さから注目を集めていて、特にeコマースのタスクに役立つって話。eコマースは商品とユーザーの間のやり取りがたくさんあって、LLMを活用するにはもってこいなんだけど、一般的なLLMを使うのは独特の用語や概念があって難しいこともあるんだよね。

そこで、EC-Guideってガイドを作ったんだ。このガイドは、eコマースのタスクのためにLLMを微調整したり、量子化することを目的としてる。さらに、計算問題を扱うときにモデルのパフォーマンスを向上させるためにChain-of-Thought（CoT）って方法も使ったよ。このアプローチのおかげで、オンラインショッピングに関するコンペでも注目されたんだ。しかも、いろんなモデルに適用できるから、大きなシステムでも効果的に使えるんだ。

#eコマースの課題

eコマースは、ショッピング用語やユーザーの行動、商品バリエーションの幅広さから複雑な課題を呈するんだ。最近、LLMはこうした難しさに対処する有望な手段になってきてるよ。それをサポートするために、Amazon KDD Cup'24っていうコンペが開催されたんだ。このコンペでは、57のタスクと約20,000の質問から成るShopBenchってベンチマークが導入されて、オンラインショッピングの複雑さをシミュレーションしたんだ。

コンペにはいくつかのトラックがあって、オンラインショッピングの異なる側面に焦点を当ててるんだ：

1. ショッピング概念の理解: 複雑なショッピング用語や概念を理解するためのトラック。
2. ショッピング知識の推論: ショッピングに関する知識を元に、適切な判断をするトラック。
3. ユーザー行動の適合: 変化する顧客の行動を理解する方法を探るトラック。
4. 多言語能力: ショッピングの際に複数の言語を扱うトラック。
5. オールラウンド: すべての質問に対して単一の解決策を求めるトラック。

私たちのチーム「ZJU-AI4H」は、このコンペで良い成績を収めて、1つのトラックで2位、別のトラックで5位になったんだ。私たちの解決策は、データセット作成、指示の微調整、トレーニング後のモデルの量子化って3つの主要ステップから成ってる。Chain-of-Thought推論を使うことで、算術計算のパフォーマンスが大幅に向上するのが分かったよ。

#データセット構築

強力な指示調整データセットを作るために、EC-Guideを作成して、74,000の例をいろんなタスクタイプで収集したんだ。タスクタイプには以下が含まれてるよ：

• 生成: ここでは、各質問に特定の指示が付いていて、モデルはそれに従ったテキストを生成する必要があるんだ。商品詳細化、商品に関する質問と回答など、いろんなサブタスクがあったよ。

• 選択肢問題: このタスクはリストから正しい答えを選ぶこと。商品関係の予測や感情分析などのサブタスクをデザインしたよ。

• 取得: このタスクでは、モデルが利用可能なアイテムのリストから答えを見つける必要があるんだ。潜在的な購入の推測やレビューのスニペットを取得するためのサブタスクを開発したんだ。

• ランキング: ここでは、ユーザーのニーズにどれだけ合致するかに基づいてアイテムを並べ替えることが目標だよ。

• 固有表現認識: このタスクは、テキスト内の固有名詞を特定することに焦点を当てていて、eコマース情報の理解や分類にとって重要なんだ。

#指示の微調整

指示の微調整は、モデルが受け取った指示に基づいて正確な答えを提供する能力を向上させるのに役立つんだ。厳選されたデータセットを使ってモデルをトレーニングすることで、いろんなeコマースタスクに必要なことを理解できるようにするのが目標だったよ。これで、関連する応答を生成する能力を高めることができたんだ。

大きなモデルを展開する際には、メモリを節約し、プロセスを高速化するために効果的な方法を使うことが重要なんだ。量子化って方法がその一つで、高精度のパラメータを低精度のフォーマットに変換できて、モデルの構造を変えずに済むんだ。

#トレーニング後の量子化

モデルはサイズが大きくなるにつれて能力が増すけど、それと同時に使用時に必要な計算力も増えるんだ。大きなモデルは、高精度のフォーマットでパラメータを保存することが多いから、遅かったりリソースをたくさん消費したりすることがあるんだ。そこで、量子化の方法を適用して、モデルを軽量化し、スピードを上げつつ、精度を保つことができたんだ。

私たちは、データセット内のタスクタイプに基づいてトレーニング例を慎重にサンプリングして、有効な量子化を確保したよ。さらに、他の外部ソースからのサンプルと比較して、私たちの方法がどれだけうまく機能したかを測定したんだ。

#Chain-of-Thought（CoT）推論

指示の微調整と量子化のフェーズが終わったら、推論ステージでChain-of-Thought推論を導入したんだ。これは、モデルが計算を伴う質問に直面したときに特定の戦略を使うことを意味してる。そういう場合は、モデルにステップバイステップで考えるように促すことで、正しい答えにたどり着く助けになるんだ。例えば、「ステップバイステップで考えてみよう」って言うだけで、モデルが関連タスクで良いパフォーマンスを発揮することができるんだよ。

#結果とパフォーマンス

トレーニングと調整プロセスを経て、かなりの改善が見られたよ。私たちは、似たようなトレーニング条件下で異なるモデルのパフォーマンスを測定したんだ。特に、私たちのモデルの一つは、コンペの両トラックで最高得点を達成したんだ。また、量子化にドメイン内データを使用したモデルは、外部データを使用したモデルよりもパフォーマンスが良かったことから、関連するトレーニング素材の重要性が浮き彫りになったんだ。

私たちの研究は、興味深い発見も示していて、小さなトレーニングセットの方が大きなものよりも良い結果を出す場合があるってこと。これは、トレーニングデータセットの構成がパフォーマンスに大きく影響する可能性があることを示唆しているんだ。

#結論

Amazon KDD Cup’24のコンペは、eコマース分野におけるLLMの応用にとって独特な試練を提供したよ。私たちの解決策は、データセット構築、指示の微調整、トレーニング後の量子化と言うよく計画された戦略を含んでたんだ。EC-Guideの開発で、私たちのアプローチをeコマースのニーズに特化させることができたんだ。

さらに、Chain-of-Thought推論の統合が算数能力を高めるのに役立ち、いろんなタスクでのパフォーマンス向上につながったんだ。この研究から得られた知見は、将来のeコマースや関連分野でのLLMの応用に役立つかもしれないし、適切なデータセットと効果的なモデル調整技術の重要性を強調してるよ。

全体的に見て、私たちの研究は、オンラインショッピングの複雑さに取り組むLLMの強い可能性を示していて、より良いユーザー体験やスマートなeコマースソリューションへの道を開いているんだ。