Die Verbesserung von KI mit individuellen Perspektiven

Wenn Maschinen, wie Algorithmen oder KI, versuchen zu verstehen, was Leute erwarten oder wollen, verlassen sie sich meistens auf Daten, die von vielen Einzelpersonen gesammelt wurden. Diese Daten beinhalten oft Feedback, wo Leute der Maschine sagen, was sie denken, und das hilft, die Maschinen zu leiten. Allerdings spiegelt dieses Feedback normalerweise die Meinungen von Gruppen wider und verpasst, was eine einzelne Person in einer bestimmten Situation denkt.

Wir glauben, dass es einen grossen Unterschied macht, zu verstehen, wie jede Person etwas sieht, um die Leistung der Maschine bei der Vorhersage dessen, was diese Person vielleicht will oder braucht, zu verbessern. Da jeder die gleiche Situation unterschiedlich wahrnimmt, können auch ihre Entscheidungen und Reaktionen stark variieren. Wenn wir uns darauf konzentrieren, was eine Einzelperson sieht und wie sie reagiert, können wir maschinelles Lernen entwickeln, das personalisierter ist.

Diese Erkundung beinhaltet, Informationen darüber zu nutzen, wie Menschen Situationen wahrnehmen, um den Prozess des maschinellen Lernens zu steuern. In unserer Studie haben wir einen neuen Datensatz gesammelt, der unterschiedliche Arten von Stimuli oder Aufforderungen enthält, und beobachtet, wohin die Leute bei diesen Aufforderungen schauen. So können wir sehen, wie sie visuelle und textuelle Informationen verarbeiten.

Unsere Forschung deutet darauf hin, dass die Einbeziehung individueller Wahrnehmungsdaten ins maschinelle Lernen erhebliche Vorteile für die persönliche Angleichung bieten kann. Das bedeutet, dass KI-Systeme besser auf die einzigartigen Erwartungen und Werte jeder Person abgestimmt werden können.

#Was sind Multimodale Modelle?

Multimodale Modelle sind fortschrittliche KI-Systeme, die verschiedene Datentypen gleichzeitig verarbeiten können. Sie können zum Beispiel Bilder mit Text kombinieren, um Vorhersagen zu treffen oder Antworten zu geben. Diese Modelle sind oft besonders gut darin, Fragen zu Bildern zu beantworten oder Beschreibungen für eine Gruppe von Bildern zu generieren.

Mit dem Aufstieg leistungsstarker KI-Systeme wie GPT-4 sind viele Leute daran interessiert geworden, wie diese Modelle mit verschiedenen Eingabetypen umgehen. Allerdings hat sich die meiste Forschung auf Feedback auf Gruppenebene konzentriert, anstatt individuelle Perspektiven zu verstehen.

Um diese Modelle enger an das auszurichten, was eine Einzelperson will, müssen wir zuerst persönliche Merkmale suchen, die Hinweise auf ihre Präferenzen und Werte geben. Wenn Leute eine Kombination aus Text und Bildern ansehen, kann ihre Wahrnehmung dieser Elemente Einblicke in ihre Meinungen geben.

#Eyetracking und seine Rolle im Verständnis von Wahrnehmung

Eyetracking umfasst die Überwachung, wohin eine Person schaut, wenn sie mit visuellen Stimuli konfrontiert wird. Durch die Analyse dieser Augenbewegungen können Forscher verstehen, wie Einzelpersonen Informationen verarbeiten und wo ihre Aufmerksamkeit liegt. Wenn jemand zum Beispiel gefragt wird, ob bestimmte Objekte in einem Bild in einer Bildunterschrift erwähnt werden, können die Bereiche des Bildes, auf die sie sich konzentrieren, ihren Denkprozess aufzeigen.

Diese Art der Datensammlung ermöglicht es uns, zu erkunden, wie unterschiedliche Menschen die gleichen Aufforderungen bewerten. Im Gegensatz zu Standardaufgaben im maschinellen Lernen, wo unterschiedliche Bewertungen als Rauschen angesehen werden könnten, können wir diese Unterschiede als wertvolle Informationen zur Verständnis individueller Verhaltensweisen betrachten.

In unserer Studie haben wir eine Aufgabe entworfen, die misst, wie gut wir die Bewertung einer Einzelperson von visuellen und textuellen Kombinationen basierend auf ihren einzigartigen Eyetracking-Daten vorhersagen können. Wir haben eine signifikante Menge an Eyetracking-Daten gesammelt, während die Teilnehmer Bilder und Bildunterschriften ansahen, wodurch wir eine neue Benchmark für diese Art des Lernens erstellen konnten.

#Die Bedeutung der individuellen Angleichung in der KI

KI-Systeme müssen sich so verhalten, dass sie menschlichen Werten entsprechen. Diese Notwendigkeit der Angleichung ist besonders wichtig, da KI-Technologie immer stärker in den Alltag integriert wird. Viele KI-Modelle können Anweisungen missverstehen oder voreingenommene Antworten generieren, die nicht mit menschlichen Erwartungen übereinstimmen.

Traditionell wurde die Angleichung durch Feedback von einer grossen Gruppe von Menschen angegangen. Individuelle Unterschiede werden dabei oft übersehen. Wir konzentrieren uns auf die Systemangleichung, die persönliche Standpunkte berücksichtigt. Dieser Wandel ermöglicht es uns, maschinelle Lernmodelle zu erstellen, die besser repräsentieren und die Bedürfnisse spezifischer Einzelpersonen erfüllen.

Indem wir die Feinheiten dessen, was verschiedene Menschen schätzen, erfassen, können wir KI-Antworten genauer anpassen. KI kann dann in verschiedenen Anwendungen nützlicher werden, von Kundenservice bis hin zu personalisierter Bildung.

#Methodik: Durchführung der Studie

In unserer Studie wollten wir sehen, wie Eyetracking-Daten die Angleichung von maschinellen Lernmodellen an individuelle Perspektiven verbessern können. Wir führten Experimente mit Teilnehmern durch, die eine Reihe von Bildern zusammen mit Bildunterschriften ansahen.

#Teilnehmer Rekrutierung

Wir haben 109 Teilnehmer, hauptsächlich junge Erwachsene, in unsere Studie einbezogen. Sie sahen sich mehrere Stimuli an und gaben Feedback zu ihrer Wahrnehmung der Bild-Text-Kohärenz. Um sicherzustellen, dass sie den Inhalt verstanden, mussten die Teilnehmer ein grundlegendes Verständnis der englischen Sprache haben.

#Stimuli Erstellung

Wir haben einen Satz von 153 Stimuli erstellt, die jeweils aus einem Bild und einer entsprechenden Bildunterschrift bestanden. Durch eine sorgfältige Auswahl von Bildern, die zentrale Objekte enthielten, konnten wir sicherstellen, dass die Bewertungen sich darauf konzentrierten, ob die Bildunterschrift das Bild genau beschrieb.

#Eyetracking Implementierung

Mit Eyetracking-Software haben wir aufgezeichnet, wohin jeder Teilnehmer schaute, während er Fragen zu den Stimuli beantwortete. Jede aufgezeichnete Fixation beinhaltete Informationen darüber, worauf sie schauten, wie lange sie darauf schauten und die zugehörigen Interessensgebiete.

#Datenübersicht

Insgesamt enthält unser Datensatz eine Fülle von Informationen, mit über 5.400 einzigartigen Fixationssequenzen und 148.100 identifizierten Fixationen. Dies ermöglichte uns, zu analysieren, wie verschiedene Individuen auf die gleichen visuellen Aufforderungen reagierten.

#Erkundung von maschinellen Lernmodellen

Um unsere Hypothese über die Beziehung zwischen Eyetracking-Daten und individueller Perspektivenausgleich zu testen, implementierten wir drei verschiedene maschinelle Lernmodelle. Jedes Modell konzentrierte sich auf verschiedene Aspekte unserer Daten, um zu sehen, wie sie die Ergebnisse beeinflussten.

#LSTM Modell

Das erste Modell verwendete einen Long Short-Term Memory (LSTM) Ansatz, der die Reihenfolge der symbolischen Darstellungen in Bezug auf die visuellen Stimuli analysierte. Indem es sich ausschliesslich auf die Sequenz des, was die Teilnehmer ansahen, konzentrierte, zielte dieses Modell darauf ab, Muster in der Bewertung von Stimuli zu identifizieren.

#Transformer Modell

Das zweite Modell verwendete eine Transformer-Architektur, die häufig in modernen KI-Systemen eingesetzt wird. Dieses Modell konzentrierte sich auf den Inhalt der Stimuli, indem es vortrainierte Merkmale aus Text und Bildern integrierte. Wir fügten eine grundlegende Darstellung des individuellen Teilnehmers hinzu, um eine massgeschneiderte Antwort zu geben.

#Ensemble Modell

Das dritte Modell war ein Ensemble-Ansatz, der Erkenntnisse sowohl aus dem LSTM- als auch aus dem Transformer-Modell kombinierte. Dieses Modell bot eine umfassendere Analyse, indem es sequentielle und kontextbasierte Informationen kombinierte, um Vorhersagen über die Bewertungen der Teilnehmer zu treffen.

#Experimentelle Ergebnisse

Als wir die Leistung jedes Modells verglichen, stellten wir fest, dass die Kombination von sequentiellen Daten und kontextuellen Informationen die Genauigkeit verbesserte. Das Ensemble-Modell übertraf die einfacheren Modelle und zeigte, dass die Integration verschiedener Datentypen zu einer besseren individuellen Angleichung führt.

#Bedeutung der Teilnehmervertretung

Wir haben auch den Effekt untersucht, der sich aus der Einbeziehung individueller Teilnehmerdaten in die Modelle ergab. Selbst eine grundlegende Darstellung der Merkmale eines Teilnehmers hatte einen positiven Einfluss auf die Leistung des Modells. Dies lieferte klare Beweise dafür, dass persönliche Angleichungssignale entscheidend sind, um genaue Vorhersagen zu erzielen.

#Der wahrnehmungsgeführte multimodale Transformer (PGMT)

Eine interessante Innovation in unserer Studie war der wahrnehmungsgeführte multimodale Transformer (PGMT). Dieses Modell integrierte einzigartig Fixationssequenzen direkt in die Aufmerksamkeitsmechanismen des Transformer-Modells. Dieser Ansatz ermöglichte es, sowohl Inhalts- als auch Sequenzdaten gleichzeitig zu nutzen, was es zu einer effizienteren Option machte, ohne zusätzliche Parameter zu benötigen.

Der PGMT zeigte eine vergleichbare Leistung wie das Ensemble-Modell, jedoch mit weniger Komplexität und Parametern. Dies deutet darauf hin, dass wir anspruchsvolle Ergebnisse erzielen können, ohne das Modelldesign zu komplizieren.

#GPT-4 und seine Einschränkungen in der individuellen Angleichung

Wir haben auch untersucht, wie GPT-4, ein hochentwickeltes multimodales grosses Sprachmodell, in unseren Aufgaben zur individuellen Angleichung abschnitt. GPT-4 war bemerkenswert ineffektiv bei der Bewältigung der wahrnehmungsgeführten intermodalen Folgerungsaufgabe. Seine Leistung war deutlich geringer als die unserer entwickelten Modelle.

Während GPT-4 in vielen Aufgaben glänzt, scheint es, dass es nicht für die Arten von Bewertungen, die wir versuchten, optimiert wurde. Das deutet darauf hin, dass selbst hochmoderne Modelle zusätzliche Schulung benötigen, um bei spezifischen Aufgaben, insbesondere solchen, die sich auf individuelle Perspektiven konzentrieren, hervorragend abzuschneiden.

#Wichtige Erkenntnisse aus unserer Forschung

In unserer Studie haben wir das Potenzial gezeigt, aus individuellen Perspektiven zu lernen, das wir POV-Lernen nannten. Indem wir den Standpunkt eines Teilnehmers nutzen, um maschinelle Lernmodelle zu steuern, beobachteten wir Verbesserungen in der Vorhersageleistung für Einzelbenutzer.

Unsere Ergebnisse bestätigten, dass die Einbeziehung individueller Wahrnehmungsdaten, wie Eyetracking-Sequenzen, zu einer besseren Angleichung an persönliche Präferenzen führt. Wir haben auch eine neue Benchmark für die Messung individueller Angleichung durch die wahrnehmungsgeführte intermodale Folgerungsaufgabe vorgeschlagen.

Maschinelle Lernmodelle, die individuelle Präferenzen effektiv interpretieren können, werden zunehmend wichtig sein, da KI weiterhin in verschiedene Bereiche der Gesellschaft integriert wird. Indem wir ein besseres Verständnis dafür fördern, wie Menschen Informationen wahrnehmen und darauf reagieren, können wir reaktionsfähigere und anpassungsfähigere KI-Systeme schaffen.

#Zukünftige Forschungsrichtungen

Wenn wir in die Zukunft blicken, gibt es mehrere aufregende Möglichkeiten für zukünftige Arbeiten in diesem Bereich. Ein wichtiger Weg ist die Schaffung effizienterer Methoden zur Erfassung menschlicher Wahrnehmungsdaten, die uns helfen werden, die Vorteile wahrnehmungsgeführter Modelle in realen Szenarien zu validieren.

Es ist wichtig, mehr darüber zu untersuchen, wie die Leistung von Modellen wie GPT-4 durch Feinabstimmung oder personalisierte Aufforderungen verbessert werden kann. Zu verstehen, wie unterschiedliche Ansätze zur Individualisierung von KI-Systemen deren Effektivität verändern können, wird für zukünftige Forschungen von entscheidender Bedeutung sein.

Zusammenfassend betont unsere Studie die Bedeutung der Anerkennung und Integration individueller Perspektiven in das maschinelle Lernen. Indem wir dies tun, können wir KI-Systeme schaffen, die nicht nur besser mit menschlichen Werten übereinstimmen, sondern auch effektiver darin sind, individuelle Bedürfnisse zu erfüllen.