CADデザインにおける言語モデルの活用

名前は物のことをたくさん教えてくれるよ。機械工学の分野では、デザイナーやエンジニアが作る部品を名前で説明するんだ。この名前がアイデアの記録や他の人とのコミュニケーションに役立つんだよ。CADソフトウェアは、デザイナーが部品やアセンブリのモデルを作るのを助ける重要な役割を持ってる。これらの部品やアセンブリに付けられる名前には、機能や関係性についての大事な情報があることが多いんだ。

でも、CADモデルの部品の形や接続については研究が進んでるけど、それを説明するための自然言語にはあまり注目が集まっていないんだ。最近、大規模言語モデル（LLMS）が自然言語を理解したり処理したりするのに大きな進展を遂げてる。これらのモデルは、デザインの分類や検索の改善に役立つ知識を使って、機械設計のタスクを支援できるんだ。

この研究では、LLMsがCADコンテンツライブラリを使うときにデザイナーが直面する一般的な問題をどのように解決できるかを調査するよ。具体的には、3つの主要な課題に焦点を当ててる：アセンブリに追加の部品を推薦すること、コンテキストに基づいて部品名を予測すること、部品名に基づいてアセンブリを分類すること。

#CADライブラリの重要性

CADライブラリは、エンジニアがデザイン作業を迅速化するために使える標準部品のコレクションなんだ。これにより、デザイナーは事前に作成された部品モデルに簡単にアクセスして使用できる。だけど、これらのライブラリを検索するのは面倒なこともあるんだ。多くの場合、デザイナーは必要なものを見つけるためにたくさんのアイテムを吟味しなきゃいけない。

一つの解決策は、CADライブラリがうまく組み合わせられる他の部品を推薦することなんだ。こうすることで、デザイナーが特定の部品をよく使っているなら、ライブラリが関連する部品を提案できるんだ。これは、オンラインショッピングサイトが過去の購入に基づいて商品を推薦するのと似てるよ。LLMsがどの部品が同じアセンブリによく組み合わされるのかを正確に予測できるかを見たいんだ。

#コンテキスト理解と推薦

部品を推薦するだけでなく、使用されている部品のコンテキストを理解することも大切なんだ。もしCADライブラリがデザイナーが現在作業しているモデルを知っていれば、もっと関連性のある提案をすることができるよ。CADモデル内のテキストを分析することで、より良い推薦をするのに役立つ重要なコンテキスト情報を抽出できるんだ。これを部品の形に基づく複雑な計算なしで行うことができる。

私たちのアプローチを検証するために、アセンブリ内の他の部品を提供したときに、LLMがランダムに選ばれた部品の名前をどれだけ正確に推測できるかをチェックするよ。この能力は、製品ライフサイクル管理（PLM）システムから再利用できる部品を特定するのにも役立つかもしれない。

#アセンブリの分類

最後に、LLMsが部品の名前に基づいてアセンブリの種類を分類できるかを探るよ。もしモデルが形を深く分析することなく似たようなアイテムを特定できるなら、PLMシステムでのデザインの分類をスムーズにすることができる。この分類は、CADソフトウェアが関連するオプションや情報を表示するのにも役立つんだ。

CADアセンブリの種類別にラベル付けされた大きなデータセットはあまりないから、OnShapeというCADプラットフォーム内のユーザー定義のドキュメントの名前を予測する能力に焦点を当てることにしたよ。これらのドキュメントの名前を決定することで、アセンブリの種類を推測したり、類似のものをグループ化したりできるんだ。

#研究の目標

要するに、私たちの主な目標は：

1. テキストデータの抽出: CADモデルが含まれるデータセットから自然言語データベースを構築して整備する。これには部品名やドキュメントタイトルが含まれるよ。
2. LLMsの評価: 事前学習された言語モデル（DistilBERT）が部品間の関係を予測できるか、コンテキストを理解できるかを評価する。
3. モデルのファインチューニング: CAD関連のテキストで追加のトレーニングを行って、CADコンテンツライブラリに関連するさまざまなタスクでのモデルのパフォーマンスを改善する方法を探るよ。

#データ抽出プロセス

このプロジェクトでは、OnShapeソフトウェアのユーザーが作成したCADモデルを含むABCデータセットを使用したよ。これらのモデルは複数の部品や図面を持つドキュメントに保存されている。ドキュメント内のすべての部品が互いに関連していると仮定して、部品間の接続を分析できるんだ。

部品名を抽出するために、一般的なCADデータ形式であるSTEPファイルからそれを取り出すよ。重複を避けつつ、ドキュメント内での出現頻度も考慮することで、部品の関係に必要な正確なカウントを維持するんだ。

OnShapeで使われるデフォルト名、例えば「Part 1」や「Extrude 2」もかなり存在するんだ。これらのデフォルト名は役に立つ情報を伝えないから、削除するよ。最終的に整備されたデータセットは、デフォルト名ではない多くの部品名で構成されていて、私たちの研究にとって豊富な情報源になっているんだ。

#ドキュメントの整理

データセットに含まれる情報を理解するために、部品に関する説明能力に基づいてドキュメント名を分類するよ。カテゴリには：

• クリーンな自然言語: 部品を明確に説明する名前、例えば「コーヒーマグ」や「機械鉛筆」。
• 数字入りの自然言語: 寸法や番号のリストを含む名前。
• 曖昧な名前: コンテキストなしの部品コードなど、明確な洞察を提供しないタイトル。

ドキュメント名のサンプルを分析することで、意味のあるセマンティック関係を抽出するためのデータセットの可能性を測り始めることができるんだ。

#言語モデルの活用

選ばれたLLM、DistilBERTは柔軟性と効率性のために設計されてるよ。部品名は複数の単語で構成されることもあるから、モデルが処理できる形式に変換する方法が必要なんだ。これを、各部品名のモデルの出力を一つのベクトルにまとめることで実現するよ。

ドキュメント内の部品数が異なることを考慮して、部品の順序によって影響を受けないようにできるSet Transformerを使うよ。

#評価タスク

LLMsが私たちの課題にどれだけうまく対処できるかを評価するために、3つのタスクを提案するよ：

1. 部品の共起: モデルが2つの部品が同じドキュメントに属するか予測できるかをチェックする。
2. 欠損部品予測: モデルがドキュメント内の残りの部品に基づいて欠損部品を特定できるかを確認する。
3. ドキュメント名予測: モデルが部品に基づいてドキュメントの名前を予測できるかを分析する。

これらのタスクにより、LLMの機械設計に対する理解度やCADデータの整理と取得の改善可能性を評価することができるんだ。

#タスク1: 部品の共起

この最初のタスクでは、問題を2値分類の課題としてフレーム化するよ。目標は、小型のモデル（多層パーセプトロン：MLP）をトレーニングして、2つの部品が通常同じドキュメントに出現するかどうかを判断することなんだ。

データセットから部品のペアをサンプリングして、同じドキュメントからの正のペアと異なるドキュメントからの負のペアを作成するよ。私たちのLLMの精度を他のモデルと比較することで、意味のある関係を一般化して学習する能力を評価できるんだ。

#タスク1の結果

結果は、従来の統計手法がこのタスクで苦労していることを示している。一方で、私たちの事前学習されたLLMは、いくつかのベンチマークを上回る成果を上げたよ。特定のデータセットでモデルをファインチューニングすることで、そのパフォーマンスはさらに向上した。これは、テキストデータがLLMが活用できる貴重なドメイン特有の知識を含んでいることを示唆しているんだ。

#タスク2: 欠損部品予測

次に、ドキュメントから欠損部品を予測しようとするよ。このタスクは、デザイナーがアセンブリに追加したい適切な部品を見つけるのに役立つことを目的としてる。

これを実現するために、部品のリストからランダムに1つの部品を削除して、残りを入力として欠損部品を予測するんだ。さまざまなモデルを比較することで、LLMがこのデータセットでトレーニングされた他のモデルとどれだけよく機能するかを判断するよ。

#タスク2の結果

LLMはかなり良いパフォーマンスを示したよ。特にいくつかの特別に設計されたモデルよりも良かった。ファインチューニングにより、欠損部品を予測する能力が大幅に向上し、追加のトレーニングがCAD特有の文脈についてさらに学ぶのに役立ったことを示しているんだ。

#タスク3: ドキュメント名予測

最後のタスクでは、LLMが部品に基づいてドキュメントの名前をどれだけ正確に予測できるかを評価するよ。このタスクは、部品の関係を理解することとアセンブリ全体についての推論を組み合わせるので、より難しいんだ。

この評価を行うために、部品の名前をモデルに提供して、以前と同じアプローチを使ってドキュメント名を正確に推測できるかを検証するよ。

#タスク3の結果

このタスクは最も難しいことが示されたよ。それでもLLMは他の統計手法を上回る成果を上げ、共に出現する部品を認識する以上の推論能力を示したんだ。

#結論

LLMsをCADテキストデータと一緒に使う探索は、かなりの可能性を示しているよ。モデルは部品名間の関係を抽出して利用することで、デザインプロセスを改善できるんだ。従来の手法だけに頼るのは、このような工学の文脈の自然言語の複雑さには不十分だとわかったよ。

要するに：

• LLMsはCADライブラリでの取得や推薦を改善できる。
• CAD特有のデータに基づくモデルのファインチューニングがその性能を向上させる。
• ドキュメント名のコンテキストや関係を理解することは、自動的な分類にとって重要だ。

今後、この研究を続けてテキストと幾何データを組み合わせたマルチモーダルアプローチを探求し、CAD機能をさらに向上させるつもりだよ。これにより、デザイナーやエンジニアのニーズに適応できるよりインテリジェントなシステムが実現できるかもしれない。

整備したデータセットや成果を公開することで、この分野のさらなる研究を促進し、CADツールがユーザーのデザイン作業を支援する方法の進展に寄与できればと思ってるんだ。