Kann KI Menschen bei der Wissensgewinnung ersetzen?

Prozedurales Wissen dreht sich darum, wie man Dinge macht. Stell dir vor, es ist wie ein Rezept zum Kuchenbacken: Du musst die Schritte, die Zutaten und wie man sie kombiniert, kennen, um ein leckeres Ergebnis zu bekommen. In der digitalen Welt kann es schwierig sein, diese Art von Wissen darzustellen. Hier kommen prozedurale Wissensgraphen (PKGs) ins Spiel, die wie eine Karte sind, die die erforderlichen Schritte für eine Aufgabe klar und organisiert zeigt.

#Was sind Wissensgraphen?

Stell dir vor, dein Gehirn ist ein Netzwerk von miteinander verbundenen Ideen. Wissensgraphen sind so ähnlich, nur auf dem Computer. Sie verbinden verschiedene Informationsstücke durch Knoten (wie Punkte auf einer Karte) und Kanten (die Linien, die sie verbinden). Jeder Knoten kann alles darstellen, von einem Schritt in einem Rezept bis zu den Werkzeugen, die man für eine Aufgabe braucht.

Wenn du also wissen willst, wie man diese nervige quietschende Tür repariert, zeigt dir ein Wissensgraph alles, was du brauchst, einschliesslich der Schritte, Werkzeuge und sogar wie lange es dauern könnte.

#Die Herausforderung des prozeduralen Wissens

Wissen aus Texten zu extrahieren, stellt eine einzigartige Herausforderung dar. Verfahren werden oft in natürlicher Sprache beschrieben, die chaotisch und mehrdeutig sein kann. Die klare Anweisung einer Person könnte für eine andere wie ein verwirrender Hinweis wirken.

Nehmen wir an, du liest ein Wartungshandbuch, das sagt: "Stelle sicher, dass du die Schrauben anziehst." Was bedeutet "anziehen"? Sollst du einen Schraubenschlüssel oder einen Schraubendreher benutzen? Wie fest ist "fest"? Diese Unklarheit macht es schwer, die notwendigen Schritte für einen Wissensgraphen herauszuziehen.

#Die Rolle grosser Sprachmodelle

Grosse Sprachmodelle (LLMs) sind ziemlich coole Werkzeuge, die entwickelt wurden, um Texte zu analysieren und zu generieren. Sie sind wie echt schlaue Assistenten, die riesige Mengen an Informationen schnell lesen können. Wenn es darum geht, prozedurales Wissen zu extrahieren, können sie durch Texte filtern und wichtige Schritte und Aktionen identifizieren, was den Prozess der Erstellung eines Wissensgraphen effizienter macht.

Aber können LLMs wirklich menschliche Annotatoren ersetzen? Das ist die Million-Dollar-Frage!

#Forschungsfragen

Um das zu erkunden, tauchen mehrere Fragen auf:

• Können LLMs erfolgreich Menschen im Erstellen eines prozeduralen Wissensgraphen aus Text ersetzen?
• Wie beurteilen Menschen die Qualität der von LLMs produzierten Ergebnisse?
• Sind die von LLMs abgeleiteten Ergebnisse nützlich, wenn es darum geht, die Schritte eines Verfahrens zu befolgen?
• Denken Menschen unterschiedlich über die Arbeit von LLMs im Vergleich zu anderen Menschen?

#Die ersten Tests

Bevor wir ins Hauptexperiment eintauchen, gab es einige erste Tests. Diese frühen Experimente zeigten gemischte Ergebnisse. Verschiedene Menschen interpretierten dasselbe Verfahren auf unterschiedliche Weise, was zu Meinungsverschiedenheiten darüber führte, was die Schritte tatsächlich waren. Klingt wie eine Familiedebatte darüber, wie man die perfekte Spaghetti-Sauce macht, oder?

Menschen fügten oft ihren eigenen Flair hinzu, änderten die Formulierungen oder schlugen sogar zusätzliche Schritte vor, die im Originaltext nicht enthalten waren. Währenddessen hielten sich LLMs meist eng an das Skript und produzierten Ergebnisse basierend auf strengen Interpretationen.

#Der Aufforderungsprozess

Das Entwerfen von Aufforderungen für LLMs ist ein wichtiger Teil dieses Experimentierens. Eine Aufforderung ist einfach eine schicke Art zu sagen: "Hier ist, was ich möchte, dass du tust." Zum Beispiel könntest du ein LLM auffordern, Schritte aus einem Kochrezept oder Wartungsverfahren herauszuziehen.

In diesem Fall wurden zwei Aufforderungen getestet:

1. Generiere eine semi-strukturierte Ausgabe, die die Schritte, Aktionen, Werkzeuge und eventuell Zeitangaben beschreibt.
2. Wandle diese Ausgabe in einen formalen Wissensgraphen um, unter Verwendung einer bestimmten Ontologie (einem strukturierten Rahmen zur Organisation von Informationen).

Dieser zweistufige Ansatz erlaubte es dem LLM, sich Zeit zu nehmen und klarere Ergebnisse zu erzeugen.

#Das experimentelle Setting

In der Hauptstudie erhielten die Teilnehmer Aufgaben, um die von LLMs und menschlichen Annotatoren produzierten Annotationen zu bewerten. Jeder Evaluator konnte die ursprünglichen Verfahren und das semi-strukturierte Wissen sehen, das extrahiert worden war.

Es gab zwei Gruppen von Evaluatoren: eine, die glaubte, die Ausgabe sei von einem Menschen, und eine andere, die wusste, dass sie von einem LLM stammte. Dieser clevere Trick erlaubte es den Forschern zu sehen, ob die Menschen die Ergebnisse unterschiedlich bewerteten, je nachdem, ob sie dachten, dass ein Mensch oder eine Maschine die Arbeit gemacht hat.

#Ergebnisse bewerten

Als die Bewertungen angekommen waren, war es Zeit für den spassigen Teil – die Analyse der Ergebnisse! Menschliche Evaluatoren bewerteten die Qualität der Ausgaben, sowohl von den LLM als auch von menschlichen Annotatoren. Die Ergebnisse zeigten, dass die Leute im Allgemeinen dachten, die LLM-Ausgaben seien ganz gut, aber sie waren ein bisschen skeptisch, wie nützlich sie in praktischen Situationen wirklich waren.

#Die Debatte über Qualität und Nützlichkeit

Als es um die Qualität ging, bewerteten die meisten Evaluatoren das von LLMs erzeugte Wissen als ziemlich genau. Als sie jedoch nach der Nützlichkeit gefragt wurden, sanken die Bewertungen. Es scheint, dass die LLMs zwar gut darin waren, Anweisungen zu folgen, die Menschen jedoch nicht ganz überzeugt waren, dass die Ergebnisse so praktisch oder hilfreich waren, wie sie sein sollten.

Die Evaluatoren äusserten auch eine Vorurteil gegenüber den LLMs, vielleicht aufgrund vorgefasster Meinungen darüber, was Maschinen können und was nicht. Es ist ein klassischer Fall, in dem Menschen Perfektion von ihren Mitmenschen erwarten und Maschinen nach anderen Massstäben beurteilen.

#Was haben wir gelernt?

Was ist also das Fazit dieser ganzen Forschung?

1. LLMs können prozedurales Wissen mit einem fairen Mass an Qualität extrahieren, oft vergleichbar mit dem von menschlichen Annotatoren.
2. Es gibt eine bemerkenswerte Skepsis darüber, wie nützlich das extrahierte Wissen in realen Anwendungen ist.
3. Vorurteile existieren; Evaluatoren könnten unbewusst die LLM-Ausgaben strenger bewerten als die menschlichen.

#Der Weg nach vorn

In die Zukunft blickend gibt es viel zu erkunden! Die Forschung hofft, die Bewertung zu erweitern und komplexere Verfahren anzugehen, von industriellen Aufgaben bis zu alltäglichen Hausarbeiten. Es besteht auch die Möglichkeit, menschliche Kreativität mit der Effizienz von LLMs zu verbinden, um die Gesamtergebnisse zu verbessern.

Was passiert, wenn wir LLMs mit vielfältigeren Trainingssets füttern? Können sie lernen, intuitiver zu sein? Haben sie die Möglichkeit, sich wie Menschen weiterzuentwickeln?

#Ein skurriles Fazit

In einer Welt, in der sich die Technologie schnell entwickelt, steckt die Erforschung der Extraktion prozeduralen Wissens gerade erst in den Kinderschuhen. Die Reise, menschliches Know-how mit Maschinenfähigkeiten zu verbinden, ist wie das Ausprobieren eines neuen Kuchenrezepts; es braucht die richtige Mischung von Zutaten, Geduld und einen Hauch von Humor!

Nach allem, wer möchte nicht einen digitalen Assistenten, der einem helfen kann, diese quietschende Tür zu reparieren, während er auch daran erinnert, eine Pause einzulegen und ein Stück Kuchen zu geniessen?