Klassifizierung von KI-Chatbot-Interaktionen: AIDAs Ansatz

In der heutigen Welt wird künstliche Intelligenz (KI) zu einem wichtigen Werkzeug in vielen Bereichen, auch in Unternehmen. Eine der spannenden Entwicklungen ist die Nutzung von Chatbots, das sind Programme, die darauf ausgelegt sind, menschliche Anfragen zu verstehen und zu beantworten. Ein bemerkenswertes Beispiel ist ein KI-Chatbot namens AIDA, der von einer Firma im Automobilsektor entwickelt wurde. Das Ziel von AIDA ist es, Benutzern zu helfen, Probleme zu lösen und Fragen zu beantworten, indem es menschenähnliche Gespräche führt.

In diesem Artikel geht's darum, wie AIDA die Arten von Fragen und Anfragen klassifiziert, die es bekommt. Die verschiedenen Arten der Interaktion können in drei Hauptkategorien unterteilt werden: Gespräche, Dienstleistungen und Dokumentübersetzungen. Wenn Nutzer mit AIDA interagieren, ist es wichtig, ihre Anfragen der richtigen Kategorie zuzuordnen, um besseren Support und Service zu bieten.

#Verständnis der Interaktionsarten

1. Gespräch: Diese Kategorie umfasst allgemeine Fragen, lockere Unterhaltungen, Grüsse, Anfragen nach Zusammenfassungen und Fragen zur Bedeutung von Wörtern in verschiedenen Sprachen. Zum Beispiel, wenn jemand fragt: "Wie ist das Wetter heute?" oder "Kannst du diesen Text zusammenfassen?", würden die unter Gespräch fallen.

2. Dienstleistungen: Diese Kategorie besteht aus konkreten Anfragen für verschiedene Dienstleistungen. Wenn ein Nutzer um Hilfe beim Buchen eines Hotels, einer Restaurantreservierung oder Informationen über Touristenattraktionen bittet, gehören diese Anfragen hierher.

3. Dokumentübersetzung: Diese Kategorie umfasst Anfragen zur Übersetzung schriftlicher Dokumente in eine andere Sprache. Im Gegensatz zur Gesprächskategorie betreffen diese Anfragen keine Zusammenfassungen des Textes; sie konzentrieren sich ausschliesslich auf die Übersetzung eines bestimmten Dokuments.

Indem AIDA korrekt identifiziert, zu welcher Kategorie eine Anfrage gehört, kann es genauer und effektiver auf die Bedürfnisse des Nutzers reagieren.

#Die Bedeutung der Klassifizierung

Die Klassifizierung menschlicher Interaktionen ist wichtig, damit AIDA den bestmöglichen Service bieten kann. Durch das Verständnis der Art der Interaktion kann die KI Ressourcen richtig zuweisen und die Benutzererfahrung verbessern. Das bedeutet, wenn jemand um eine Dokumentübersetzung bittet, weiss AIDA, dass es diese Anfrage zum Übersetzungsservice umleiten muss, statt eine allgemeine Anfrage zu beantworten.

#Daten zur Klassifizierung

Um ein System aufzubauen, das diese Interaktionen klassifizieren kann, wurde ein Datensatz mit 1.668 Beispielen verwendet. Diese Beispiele wurden in zwei Teile unterteilt: 666 wurden zum Trainieren des Modells verwendet, und die restlichen 1.002 wurden für Tests reserviert. Der Trainingssatz wird verwendet, um der KI beizubringen, verschiedene Arten von Interaktionen zu erkennen, während der Testsatz bewertet, wie gut sie gelernt hat.

#Verschiedene Ansätze zur Klassifizierung

Es wurden verschiedene Methoden untersucht, um menschliche Interaktionen zu klassifizieren. Ziel war es, den besten Ansatz zu finden, um die Art der Interaktion genau zu identifizieren und gleichzeitig die Effizienz bei der Bearbeitung von Anfragen zu gewährleisten.

1. LLM-basierte Klassifizierer: Die erste Methode bestand darin, ein grosses Sprachmodell (LLM) zu verwenden, um Interaktionen basierend auf den Bedeutungen der Wörter in den Anfragen zu klassifizieren. Zwei verschiedene LLM-basierte Ansätze wurden untersucht. Der erste basierte auf einfachen Definitionen für jede Interaktionsart, während der zweite zusätzliche Beispiele verwendete, um dem Modell zu helfen, besser zu lernen.

2. K-Nearest Neighbors (KNN): Diese Methode betrachtete, wie ähnlich sich verschiedene Interaktionen waren. KNN findet die nächsten Beispiele zu einem neuen Input und weist das häufigste Label unter diesen Beispielen zu. Es wandelt Textinteraktionen in numerische Formen um, indem es Embeddings nutzt, welche helfen, ihre Ähnlichkeiten zu messen.

3. Support Vector Machines (SVM): SVM ist eine weitere Methode, die auf Geometrie basiert. Sie versucht, verschiedene Interaktionskategorien in einem Raum zu trennen, der durch die Merkmale der Anfragen definiert ist. Sie sucht nach der besten Linie (oder Hyperebene), die die verschiedenen Kategorien trennt.

4. Künstliche Neuronale Netze (ANN): Der ANN-Ansatz orientiert sich daran, wie das menschliche Gehirn funktioniert. Es kann komplexe Muster in Daten lernen. In diesem Fall müssen die Eingabedaten normalisiert werden, um die Leistung zu verbessern. Das Modell besteht aus mehreren Schichten, die ihm helfen, Informationen zu verarbeiten und aus den Trainingsdaten zu lernen.

#Vergleich der Methoden

Nach dem Testen dieser verschiedenen Modelle wurde klar, dass einige besser abschnitten als andere. Die SVM- und ANN-Modelle erzielten die besten Ergebnisse, insbesondere wenn sie Embeddings von einem Modell namens COHERE verwendeten.

• SVM mit COHERE-Embeddings erzielte ausgezeichnete Ergebnisse in allen drei Interaktionstypen: Gespräch, Dienstleistungen und Dokumentübersetzung. Es lieferte ein hohes Mass an Genauigkeit und bearbeitete Anfragen schnell.

• ANN mit COHERE-Embeddings schnitt ebenfalls gut ab, zeigte gute Genauigkeit, obwohl es etwas zusätzliche Verarbeitung benötigte, um die Eingabedaten vorzubereiten.

• Die LLM-Modelle, während vielversprechend, schnitten nicht so gut ab wie SVM oder ANN, insbesondere in der Dienstleistungskategorie. Das Bereitstellen von Beispielen für das LLM verbesserte jedoch seine Fähigkeit, Anfragen zur Dokumentübersetzung zu verstehen.

#Ausführungszeit

Ein weiterer wichtiger Aspekt, der untersucht wurde, war, wie lange jedes Modell für eine Antwort benötigte. Nicht überraschend boten KNN-, SVM- und ANN-Modelle schnellere Antworten im Vergleich zu den LLM-Modellen. Das bedeutet, dass KNN, SVM und ANN bessere Optionen sind, wenn Geschwindigkeit wichtig ist.

• KNN- und SVM-Modelle benötigten im Durchschnitt etwa 0,3 bis 0,35 Sekunden für jede Antwort.
• Das ANN-Modell war sogar schneller und benötigte im Durchschnitt etwa 0,15 Sekunden.
• Im Gegensatz dazu benötigte das LLM deutlich länger, mit Antworten von etwa 1,2 Sekunden ohne Beispiele und rund 18 Sekunden bei Verwendung von Beispielen.

#Fazit

Zusammenfassend zeigte die Studie, dass die Klassifizierung von Interaktionen ein wesentlicher Bestandteil für das Funktionieren von AIDA, dem KI-Chatbot, ist. Die am besten abschneidenden Modelle zur Klassifizierung dieser Interaktionen waren die SVM und ANN, die COHERE-Embeddings verwendet haben, da sie eine gute Mischung aus Genauigkeit und Reaktionszeit boten. Es wurde deutlich, dass das Verständnis der Art der Interaktion hilft, einen besseren Service für die Nutzer zu bieten und sicherzustellen, dass ihre Bedürfnisse zeitnah erfüllt werden.

In Zukunft wird diese Forschung die Auswahl geeigneter Modelle und Strategien für KI-Anwendungen in verschiedenen Bereichen leiten und die Interaktionserfahrung zwischen Menschen und Maschinen weiter verbessern. Mit Fortschritten in der KI-Technologie, wie den diskutierten Ansätzen, sieht die Zukunft vielversprechend aus für genauere und effizientere Kommunikation durch Chatbots.