Nutzung von Sprachmodellen im CAD-Design

Namen können uns viel über Objekte erzählen. Im Maschinenbau nutzen Designer und Ingenieure Namen, um die Teile, die sie erstellen, zu beschreiben. Diese Namen helfen dabei, ihre Ideen zu dokumentieren und mit anderen zu kommunizieren. CAD-Software (Computer-Aided Design) spielt eine entscheidende Rolle in diesem Prozess, indem sie es Designern ermöglicht, Modelle von Teilen und Baugruppen zu erstellen. Die Namen der Teile und Baugruppen enthalten oft wichtige Informationen über ihre Funktionen und Beziehungen.

Während die Formen und Verbindungen von Teilen in CAD-Modellen bereits untersucht wurden, hat die natürliche Sprache, die verwendet wird, um diese Teile zu beschreiben, nicht genug Aufmerksamkeit erhalten. In letzter Zeit haben grosse Sprachmodelle (LLMs) bedeutende Fortschritte im Verständnis und in der Verarbeitung natürlicher Sprache gemacht. Diese Modelle können bei mechanischen Entwurfsaufgaben helfen, indem sie ihr Wissen nutzen, um die Kategorisierung und Suche von Designs zu verbessern.

Diese Arbeit untersucht, wie LLMs einige gängige Probleme lösen können, mit denen Designer beim Arbeiten mit CAD-Inhaltsbibliotheken konfrontiert sind. Insbesondere konzentrieren wir uns auf drei Hauptprobleme: Empfehlungen für zusätzliche Teile für Baugruppen, Vorhersagen von Teilenamen basierend auf dem Kontext und Kategorisierung von Baugruppen basierend auf Teilenamen.

#Bedeutung von CAD-Bibliotheken

CAD-Bibliotheken sind Sammlungen von Standardteilen, die Ingenieure nutzen können, um ihre Entwurfstätigkeiten zu beschleunigen. Sie ermöglichen es Designern, leicht auf vorgefertigte Modelle von Teilen zuzugreifen. Das Durchsuchen dieser Bibliotheken kann jedoch umständlich sein. Oft müssen Designer durch viele Elemente stöbern, um das zu finden, was sie brauchen.

Eine mögliche Lösung wäre, dass die CAD-Bibliothek andere Teile empfiehlt, die gut zusammenpassen. So könnte die Bibliothek Teile vorschlagen, die häufig gemeinsam verwendet werden, ähnlich wie Online-Shops Produkte basierend auf früheren Käufen empfehlen. Wir wollen herausfinden, ob LLMs genau vorhersagen können, welche Teile oft in denselben Baugruppen kombiniert werden.

#Kontextuelles Verständnis und Empfehlungen

Neben der Empfehlung von Teilen ist es wichtig, den Kontext der verwendeten Teile zu verstehen. Wenn eine CAD-Bibliothek weiss, an welchem Modell ein Designer gerade arbeitet, kann sie relevantere Vorschläge machen. Durch die Analyse des Textes in CAD-Modellen können wir wichtige Kontextinformationen extrahieren, die helfen, bessere Empfehlungen zu geben. Das kann ohne komplexe Berechnungen basierend auf den Formen der Teile erfolgen.

Um unseren Ansatz zu validieren, prüfen wir, wie genau ein LLM den Namen eines zufällig ausgewählten Teils vorhersagen kann, wenn die anderen Teile in der Baugruppe bereitgestellt werden. Diese Fähigkeit könnte auch helfen, Teile zu identifizieren, die aus einem Produktlebenszyklusmanagement (PLM)-System wiederverwendet werden können.

#Klassifizierung von Baugruppen

Zuletzt untersuchen wir, ob LLMs einen Typ von Baugruppe basierend auf den Namen ihrer Teile klassifizieren können. Wenn ein Modell ähnliche Elemente identifizieren kann, ohne deren Formen tiefgehend analysieren zu müssen, könnte dies die Kategorisierung von Designs in einem PLM-System vereinfachen. Diese Klassifizierung könnte auch helfen, relevante Optionen und Informationen in CAD-Software anzuzeigen, was die Benutzerfreundlichkeit verbessert.

Da es nicht viele grosse Datensätze von CAD-Baugruppen gibt, die nach Typ gekennzeichnet sind, konzentrieren wir uns darauf, wie gut LLMs die Namen von benutzerdefinierten Dokumenten in OnShape, einer CAD-Plattform, vorhersagen können. Durch die Bestimmung der Namen dieser Dokumente können wir die Arten von Baugruppen ableiten und möglicherweise ähnliche gruppieren.

#Forschungsziele

Zusammenfassend sind unsere Hauptziele:

1. Extraktion von Textdaten: Wir erstellen und bereinigen eine Datenbank mit natürlicher Sprache aus einem Datensatz, der CAD-Modelle enthält. Dazu gehören Teilenamen und Dokumenttitel.
2. Bewertung von LLMs: Wir bewerten, wie gut ein vortrainiertes Sprachmodell (DistilBERT) Beziehungen zwischen Teilen vorhersagen und deren Kontext verstehen kann.
3. Feinabstimmung von Modellen: Wir untersuchen, wie zusätzliche Schulung mit CAD-bezogenen Texten die Leistung des Modells bei verschiedenen Aufgaben im Zusammenhang mit CAD-Inhaltsbibliotheken verbessern kann.

#Datenextraktionsprozess

Für dieses Projekt haben wir den ABC-Datensatz verwendet, der CAD-Modelle von Nutzern der OnShape-Software enthält. Diese Modelle werden in Dokumenten gespeichert, die mehrere Teile und Zeichnungen enthalten können. Wir gehen davon aus, dass alle Teile in einem Dokument miteinander verbunden sind, was es uns ermöglicht, die Verbindungen zwischen ihnen zu analysieren.

Um die Teilenamen zu extrahieren, ziehen wir sie aus den STEP-Dateien, einem gängigen Format für CAD-Daten. Wir stellen sicher, dass wir nur einzigartige Namen behalten und auch berücksichtigen, wie oft sie in Dokumenten erscheinen. Das hilft uns, genaue Zählungen der Teile für Beziehungen aufrechtzuerhalten.

Es gibt ausserdem eine beträchtliche Menge an Standardnamen, die von OnShape verwendet werden, wie "Teil 1" oder "Extrusion 2." Diese Standardnamen eliminieren wir, da sie keine nützlichen Informationen vermitteln. Der endgültige bereinigte Datensatz besteht aus einer erheblichen Anzahl von Nicht-Standard-Teilenamen, die eine reiche Informationsquelle für unsere Studie bieten.

#Dokumentorganisation

Um die Informationen im Datensatz zu verstehen, kategorisieren wir die Dokumentnamen je nachdem, wie beschreibend sie bezüglich der enthaltenen Teile sind. Die Kategorien umfassen:

• Saubere natürliche Sprache: Namen, die Teile klar beschreiben, wie "Kaffeetasse" oder "Mechanischer Bleistift."
• Natürliche Sprache mit Zahlen: Namen, die Masse oder geordnete Listen enthalten könnten.
• Mehrdeutige Namen: Titel, die keine klare Einsicht geben, wie Teilenummern ohne Kontext.

Durch die Analyse einer Stichprobe von Dokumentnamen können wir beginnen zu beurteilen, wie gut der Datensatz geeignet ist, um bedeutungsvolle semantische Beziehungen zu extrahieren.

#Nutzung von Sprachmodellen

Das gewählte LLM, DistilBERT, ist auf Flexibilität und Effizienz ausgelegt. Da Teilenamen aus mehreren Wörtern bestehen können, benötigen wir einen Weg, um diese Namen in ein Format zu konvertieren, das das Modell verarbeiten kann. Wir erreichen dies, indem wir die Ausgaben des Modells für jeden Teilenamen in einen einzigen Vektor zusammenfassen.

Um die unterschiedlichen Anzahl an Teilen in einem Dokument zu berücksichtigen, verwenden wir einen Set Transformer, der Eingaben unterschiedlicher Grössen verarbeiten kann, ohne von der Reihenfolge der Teile beeinflusst zu werden.

#Evaluationsaufgaben

Wir schlagen drei Aufgaben vor, um zu bewerten, wie gut LLMs unsere Herausforderungen angehen können:

1. Teilgemeinsamkeit: Überprüfen, ob das Modell vorhersagen kann, ob zwei Teile aus demselben Dokument stammen.
2. Vorhersage fehlender Teile: Bestimmen, ob das Modell ein fehlendes Teil identifizieren kann, wenn die restlichen Teile in einem Dokument gegeben sind.
3. Vorhersage des Dokumentnamens: Analysieren, ob das Modell den Namen des Dokuments basierend auf seinen Teilen vorhersagen kann.

Diese Aufgaben ermöglichen es uns, das Verständnis des LLMs für mechanisches Design und sein Potenzial zur Verbesserung der Organisation und des Abrufs von CAD-Daten zu bewerten.

#Aufgabe 1: Teilgemeinsamkeit

In dieser ersten Aufgabe rahmen wir das Problem als eine binäre Klassifikationsherausforderung ein. Das Ziel ist es, ein kleines Modell, ein Multi-Layer Perceptron (MLP), zu trainieren, um zu bestimmen, ob zwei Teile typischerweise zusammen in demselben Dokument vorkommen.

Indem wir Paare von Teilen aus dem Datensatz entnehmen, erstellen wir positive Paare (aus demselben Dokument) und negative Paare (aus unterschiedlichen Dokumenten). Durch den Vergleich der Genauigkeit unseres LLMs mit anderen Modellen können wir seine Fähigkeit bewerten, zu generalisieren und bedeutungsvolle Beziehungen zu lernen.

#Ergebnisse aus Aufgabe 1

Die Ergebnisse zeigen, dass traditionelle statistische Methoden mit dieser Aufgabe Schwierigkeiten haben. Im Gegensatz dazu hat unser vortrainiertes LLM mehrere Benchmarks übertroffen. Die Feinabstimmung des Modells auf unserem spezifischen Datensatz verbesserte seine Leistung weiter, was darauf hindeutet, dass die Textdaten wertvolles fachspezifisches Wissen enthalten, das das LLM nutzen kann.

#Aufgabe 2: Vorhersage fehlender Teile

Als nächstes versuchen wir, ein fehlendes Teil aus einem Dokument vorherzusagen. Diese Aufgabe soll Designern helfen, geeignete Teile zu finden, die sie möglicherweise zu ihren Baugruppen hinzufügen möchten.

Dazu entfernen wir zufällig ein Teil aus der Liste und verwenden die restlichen Teile als Eingabe, um das fehlende Teil vorherzusagen. Durch den Vergleich verschiedener Modelle bestimmen wir, wie gut das LLM im Vergleich zu anderen, die auf demselben Datensatz trainiert wurden, abschneidet.

#Ergebnisse aus Aufgabe 2

Das LLM hat ziemlich gut abgeschnitten, sogar besser als einige speziell entwickelte Modelle. Die Feinabstimmung hat seine Fähigkeit zur Vorhersage fehlender Teile erheblich verbessert, was darauf hinweist, dass das zusätzliche Training ihm geholfen hat, mehr über den CAD-spezifischen Kontext zu lernen.

#Aufgabe 3: Vorhersage des Dokumentnamens

In der letzten Aufgabe bewerten wir, wie gut das LLM den Namen eines Dokuments basierend auf seinen Teilen vorhersagen kann. Diese Aufgabe ist herausfordernder, da sie das Verständnis der Teilbeziehungen mit dem logischen Denken über die gesamte Baugruppe verbindet.

Um diese Bewertung durchzuführen, geben wir dem Modell die Namen der Teile und sehen, ob es den Dokumentnamen genau raten kann, indem es denselben Ansatz wie zuvor verwendet.

#Ergebnisse aus Aufgabe 3

Diese Aufgabe erwies sich als die schwierigste. Allerdings hat das LLM andere statistische Methoden übertroffen, was zeigt, dass seine Denkfähigkeiten über das blosse Erkennen von gemeinsam auftretenden Teilen hinausgehen.

#Fazit

Unsere Untersuchung zur Nutzung von LLMs mit CAD-Textdaten zeigt vielversprechende Ergebnisse. Die Modelle können Beziehungen zwischen Teilenamen extrahieren und nutzen, um den Entwurfsprozess zu verbessern. Wir stellen fest, dass es nicht ausreicht, sich einfach auf traditionelle Methoden zu verlassen, um die Komplexität der natürlichen Sprache im Ingenieurkontext zu bewältigen.

Zusammenfassend:

• LLMs können die Abfrage und Empfehlungen in CAD-Bibliotheken verbessern.
• Die Feinabstimmung der Modelle auf Basis CAD-spezifischer Daten verbessert deren Leistung.
• Das Verständnis von Kontext und Beziehungen in Dokumentnamen ist entscheidend für die automatisierte Kategorisierung.

Wir wollen diese Forschung fortsetzen, indem wir multimodale Ansätze erkunden, die Text und geometrische Daten kombinieren, um die CAD-Funktionalitäten weiter zu verbessern. Dies könnte zu intelligenteren Systemen führen, die sich an die Bedürfnisse von Designern und Ingenieuren anpassen können.

Durch die Veröffentlichung des bereinigten Datensatzes und der Ergebnisse hoffen wir, weitere Studien in diesem Bereich zu fördern und Fortschritte darin zu erzielen, wie CAD-Tools den Nutzern bei ihren Entwurfsaufgaben helfen können.