Produktklassifikation mit maschinellem Lernen verbessern

Produktklassifizierung ist wichtig im internationalen Handel, da sie die Einhaltung von Vorschriften und die richtige Besteuerung basierend auf Produktkategorien sicherstellt. Manuelle Klassifizierung kann viel Zeit in Anspruch nehmen und Fehler verursachen, da eine grosse Menge an Waren über Grenzen gehandelt wird. Deshalb haben Unternehmen und Online-Plattformen angefangen, Maschinelles Lernen für die automatische Produktklassifizierung zu nutzen.

Allerdings gehen die bestehenden Methoden oft nicht auf die echten Probleme ein, die bei der Klassifizierung von Produkten auftreten, wie zum Beispiel kurze oder unvollständige Beschreibungen. Jüngste Fortschritte bei grossen Sprachmodellen (LLMs) wurden in diesem Bereich noch nicht vollständig genutzt. Diese Forschung untersucht die Herausforderungen der Produktklassifizierung und schlägt neue Wege vor, um realistische Daten zu simulieren. Ausserdem werden LLM-basierte Klassifizierungsmethoden verwendet, um die Vorhersagegenauigkeit zu erhöhen, selbst wenn die Daten unvollständig sind.

Unsere Ergebnisse zeigen, dass LLMs, die aus Beispielen lernen, besser abschneiden können als traditionelle Überwachte Methoden, wenn die Daten sauber sind. Ausserdem zeigen LLMs eine grössere Widerstandsfähigkeit gegenüber Datenproblemen im Vergleich zu überwachten Methoden, wenn sie mit Datenangriffen konfrontiert werden.

#Bedeutung der Produktklassifizierung

Produkte richtig zu klassifizieren, ist für den globalen Handel und den E-Commerce entscheidend, da Zölle auf Basis von Produktkategorien bestimmt werden. Laut der Weltzollorganisation wurden weltweit 2022-2023 über 1,3 Milliarden Zollanmeldungen gemacht. Diese riesige Menge an Arbeit belastet die Zollbeamten und Unternehmen, die im internationalen Handel tätig sind, stark.

Die Klassifizierung von Produkten kann kompliziert sein und erfordert Fachwissen aufgrund der Vielzahl an Waren in verschiedenen Sektoren. Daher kann es viele Monate dauern, sich das nötige Fachwissen und das Verständnis für die Details verschiedener Produkte anzueignen, um sie richtig klassifizieren zu können.

Die falsche Klassifizierung kann ernsthafte Folgen haben, die zu Steuerverpflichtungen, Bussgeldern oder sogar rechtlichen Problemen führen können. Die zunehmende Arbeitsbelastung durch den globalen Handel macht das Management der Produktklassifizierung herausfordernd, besonders mit der ständigen Erweiterung des E-Commerce.

#Aktuelle Herausforderungen in der automatisierten Klassifizierung

Viele Unternehmen haben sich der automatisierten Klassifizierung durch maschinelles Lernen zugewandt. Die aktuellen Methoden konzentrieren sich jedoch auf "saubere" Daten und berücksichtigen nicht die typischen Störungen, die in alltäglichen Produktbeschreibungen auftreten. Datenprobleme können die Leistung des Klassifikators beeinträchtigen, wie z.B. fehlende oder abgekürzte Informationen.

Daher ist es wichtig, Produktklassifizierungen genau vorherzusagen, besonders da falsche Klassifizierungen zu Fehlern bei der Besteuerung und Handelsstrafe führen können. Diese Studie zielt darauf ab zu untersuchen, welche Modelle besser abschneiden, wenn Datenprobleme auftreten, und hilft Organisationen, fundierte Entscheidungen zu treffen.

#Vorgeschlagenes Framework

Diese Forschung präsentiert eine Methode, um die realen Herausforderungen der Produktklassifizierung zu spiegeln, indem Datenprobleme simuliert werden. Das Framework ist so aufgebaut, dass es reale Datenungleichgewichte, die für die Produktklassifizierung relevant sind, genau darstellt, was für compliancebezogene Aufgaben kritisch ist.

Wir schlagen einen LLM-basierten Klassifizierungsansatz vor, der frühere überwachte Methoden übertrifft und eine grössere Widerstandsfähigkeit gegenüber diesen Datenproblemen zeigt. Die Studie bewertet verschiedene Modelle und Annotatoren in unterschiedlichen Datenangriffsszenarien, um ihre Robustheit zu vergleichen.

#Produktklassifizierung und frühere Arbeiten

Die Produktklassifizierung ist ein bedeutendes Forschungsgebiet. Realistische Produktbeschreibungen sind jedoch in der Regel kurz und oft ungenau, was die Effektivität der Verarbeitung natürlicher Sprache einschränkt.

Frühere Studien haben gezeigt, dass Produktbeschreibungen normalerweise vage Daten enthalten. Einige Frameworks konzentrierten sich darauf, die Datenqualität zu verbessern, indem sie Fehler in Produktbeschreibungen erkannten.

Trotz der Kosteneffizienz der automatisierten Klassifizierung gibt es immer noch grosse Lücken in der Robustheit gegenüber Störungen. Diese Studie adressiert diese Lücken, indem sie Datenprobleme durch eine definierte Methodik untersucht.

#Methodologie der Datenperturbation

Im wirklichen Leben sind Produktbeschreibungen in der Regel kürzer und weniger informativ als die idealen sauberen Daten, die in der Forschung verwendet werden. Um realistische Daten zu simulieren, haben wir eine Methode entwickelt, um Daten zu verändern, indem wir bestimmte Wörter in der Beschreibung entweder entfernen oder modifizieren.

Mit GPT-4 haben wir realistische Datensätze generiert, die gängige Datenherausforderungen widerspiegeln. Wir haben spezifische Anweisungen erstellt, um GPT-4 zu helfen, diese veränderten Beschreibungen zu erstellen.

#Techniken der Datenperturbation

Um realistische Produktbeschreibungen genau zu simulieren, haben wir zwei Hauptmethoden zur Perturbation entwickelt:

1. Wörter entfernen: Wir haben zufällig Wörter aus Produktbeschreibungen entfernt, um fehlende Informationen nachzuahmen.

2. Wörter abkürzen: Bestimmte Wörter wurden durch kürzere Formen ersetzt, um gängige Versanddetails und Abkürzungen zu imitieren.

Durch die Anwendung dieser Methoden haben wir verschiedene Datenangriffsszenarien erstellt, die es uns ermöglichen, Klassifikationsmodelle unter realistischen Bedingungen zu testen.

#Bewertung der Klassifizierer

Wir haben unser Framework an zwei öffentlichen Datensätzen bewertet, um die Robustheit verschiedener Klassifizierungsstrategien zu vergleichen. Die Datensätze lieferten detaillierte Produktbeschreibungen und festgelegte Kategorien.

Für die Klassifizierung vergleichen wir sowohl überwachte Modelle als auch LLMs, darunter DeBERTaV3 und GPT-4 unter anderem. Wir organisierten die Modelle in Konfigurationen: flach, hierarchisch und few-shot. Jede Konfiguration hatte das Ziel, verschiedene Aspekte der Produktklassifizierung zu testen.

Wir richteten mehrere Angriffs-Konfigurationen ein, um die Reaktionen der Modelle auf Datenperturbationen zu bewerten. Dazu gehörten saubere Daten, amputierte Daten, bei denen Informationen fehlten, und abgekürzte Daten, bei denen Begriffe verkürzt wurden.

#Erkenntnisse aus menschlicher Annotation

Wir haben menschliche Annotatoren engagiert, um die Qualität unserer veränderten Daten zu bewerten, um sicherzustellen, dass sie realistischen Daten ähnlich sind. Die Annotatoren bestätigten, dass die Mehrheit der veränderten Beschreibungen ihre Bedeutung behielt und korrekt interpretiert werden konnte.

Durch diese Bewertung fanden wir heraus, dass das Perturbations-Framework die Herausforderungen der realen Produktklassifizierung effektiv simulierte und mit unseren Forschungszielen übereinstimmte.

#Klassifizierungsergebnisse und Beobachtungen

Die Ergebnisse unserer Experimente zeigten klare Unterschiede darin, wie verschiedene Modelle auf Datenangriffe reagierten. LLMs, besonders mit Few-Shot-Prompting, schnitten erheblich besser ab als überwachte Modelle. Bei sauberen Daten war die Leistung am höchsten, fiel jedoch, als Herausforderungen eingeführt wurden.

LLMs wie GPT-4 zeigten eine bemerkenswerte Fähigkeit, sich an veränderte Daten anzupassen und eine robuste Leistung im Vergleich zu überwachten Modellen aufrechtzuerhalten, die stärker unter dem eingeführten Rauschen litten.

#Fazit und Ausblick

Diese Forschung zeigt einen vielversprechenden Ansatz zur Verbesserung der automatisierten Produktklassifizierung, insbesondere in Umgebungen, in denen Compliance entscheidend ist. Der LLM-basierte Ansatz adressiert nicht nur die Robustheit gegenüber Datenproblemen, sondern bietet auch einen Rahmen zur Simulation realer Klassifizierungsszenarien.

Für die Zukunft planen wir, unsere Untersuchung zur Sicherheit von LLMs in kritischen Datenoperationen zu erweitern und ihre Verwendung zu erkunden, um die Begründungen hinter Klassifizierungsentscheidungen anzubieten.

Indem wir diese Bereiche beleuchten, können wir die Methoden des maschinellen Lernens zur Produktklassifizierung verbessern und zu effizienten und genauen Lösungen im Kontext des globalen Handels beitragen.

Diese Arbeit betont die Notwendigkeit eines praktischen Ansatzes für maschinelles Lernen, der die Herausforderungen der realen Welt berücksichtigt. Während wir diesen Weg weiter erkunden, werden wir unsere Methoden verfeinern und etwaige beobachtete Einschränkungen angehen.