Fortschrittliche Multi-Label Textklassifizierung mit schwacher Überwachung

Wir schauen uns eine neue Methode zur Klassifizierung von Texten an, die offene Multi-Label-Textklassifikation mit schwacher Supervision heisst. Dabei gibt ein Nutzer eine kurze Beschreibung dessen, was er klassifizieren möchte, ohne spezifische Labels anzugeben. Einige Methoden wurden zwar schon vorher ausprobiert, haben aber meist nur mit einem Label funktioniert und passen nicht so gut zu unseren Zielen.

#Unsere Beobachtungen

Wir haben zwei Hauptsachen bemerkt:

1. Die meisten Dokumente haben eine Hauptklasse, die den Grossteil ihres Inhalts ausmacht.
2. Bei manchen Dokumenten tauchen weniger häufige Labels als Hauptklasse auf.

Basierend auf diesen Beobachtungen haben wir die Beschreibung des Nutzers genutzt, um ein grosses Sprachmodell (LLM) nach den Hauptschlüsselphrasen aus einigen Dokumenten zu fragen. Dann haben wir diese Schlüsselphrasen gruppiert, um ein Set von Anfangslabels zu erstellen. Als Nächstes haben wir einen Zero-Shot-Multi-Label-Klassifizierer verwendet, um Dokumente mit niedrigeren Vorhersagewerten zu finden und haben deren Schlüsselphrasen nochmal angeschaut, um weitere weniger häufige Labels zu finden.

Wir haben diese Methode wiederholt, um ein breiteres Set von Labels aufzubauen und erfolgreich einen Multi-Label-Klassifizierer erstellt.

#Methoden und Rahmen

Unser Rahmen ist einfach. Der Nutzer muss nur eine kurze Beschreibung für die Klassifikationsaufgabe geben. Im ersten Schritt fordern wir das LLM auf, die Schlüsselphrasen zu finden. Beispiele in der Beschreibung helfen dem LLM, bessere Ergebnisse zu erzeugen.

1. Aufbau des Anfangs-Labelraums: Wir starten mit einer Teilmenge von Dokumenten und teilen sie in kleinere Teile auf, damit sie besser zum LLM passen. Dann bitten wir das LLM, die Hauptschlüsselphrasen zu identifizieren.

2. Clustering der Schlüsselphrasen: Wir clustern diese Schlüsselphrasen, weil einige möglicherweise dasselbe bedeuten, aber unterschiedlich aussehen. Wir wählen die Hauptphrasen aus jedem Cluster aus, um unseren Anfangs-Labelraum zu erstellen.

3. Verbesserung des Labelraums: Wir haben eine Textverwandtschaftsmethode verwendet, um jedes Textstück gegen alle Labels zu klassifizieren. Für die Stücke mit niedrigeren Vorhersagewerten überprüfen wir erneut ihre Schlüsselphrasen, um weitere versteckte Labels zu finden.

Diese Schritte wiederholen wir, bis wir einen umfassenden Labelraum aufgebaut haben.

#Ergebnisse und Erkenntnisse

Unsere Experimente zeigen, dass unsere Methode die tatsächlichen Labels im Vergleich zu traditionellen Methoden erheblich abdeckt. Zum Beispiel haben wir eine Verbesserung der Labelabdeckung um 40 % im Vergleich zu anderen Methoden festgestellt. Ausserdem war unsere Klassifikationsgenauigkeit die beste unter allen getesteten Methoden.

#Praktische Bedeutung

Diese Arbeit ist wichtig für verschiedene reale Anwendungen, wie das Taggen von Produkten in Online-Shops. Oft muss man mehrere Labels für ein Produkt identifizieren, ohne vorher zu wissen, welche Labels das sein sollten. Unsere Methode geht direkt auf diese Herausforderung ein.

#Herausforderungen und zukünftige Arbeiten

Trotz unseres Erfolgs haben wir immer noch Herausforderungen. Insbesondere bleiben viele weniger häufige Labels in unserem Prozess unentdeckt. Zukünftige Forschungen sollten sich darauf konzentrieren, mehr von diesen weniger häufigen Labels zu erfassen und unsere Methode auf andere Datensätze mit mehr Labels anzuwenden.

#Fazit

Zusammenfassend beschäftigt sich unsere Arbeit mit einem neuen Problem in der Textklassifizierung, bei dem Nutzer begrenzte Informationen bereitstellen. Unser Rahmen zeigt Potenzial beim Aufbau eines nützlichen Labelraums und eines Klassifizierers, der sowohl gängige als auch weniger häufige Labels effektiv finden kann. Mit weiterer Entwicklung wollen wir unsere Fähigkeit verbessern, Textlabels genau zu entdecken und zu klassifizieren.