Come i nostri cervelli riconoscono personaggi e scene nei film
Uno studio rivela i modelli di attività cerebrale quando si guardano film, evidenziando le aree chiave per elaborare le informazioni.
― 6 leggere min
Indice
Il Lobo Temporale Mediale (MTL) è una parte importante del cervello che ci aiuta a capire e creare significati da ciò che vediamo. Quando guardiamo cose come film, cellule specifiche nel MTL lavorano per identificare diversi tipi di informazioni, come persone e luoghi. Queste cellule possono differenziare tra varie categorie, come volti e oggetti. Alcune di queste cellule sono conosciute come cellule concettuali. Rispondono a oggetti o personaggi specifici indipendentemente da come appaiono (tipo colore o angolo). Le prove suggeriscono che diverse aree nel MTL rispondono a diversi tipi di informazioni; per esempio, l’amigdala tende a rispondere di più a esseri viventi, mentre un’altra parte, la corteccia paraippocampale, risponde a paesaggi e scene.
Ricerche recenti hanno esaminato come queste cellule operano quando guardiamo qualcosa di dinamico, come un film, invece di immagini statiche. Studi precedenti hanno mostrato che alcune cellule rispondono ai cambiamenti negli eventi all'interno di un film e che gruppi di cellule possono mostrare attività simile quando le persone guardano lo stesso film. Tuttavia, non c'è stata una chiara comprensione se cellule specifiche o gruppi di cellule sono responsabili per riconoscere certi tipi di informazioni, specialmente in un contesto vivace.
Questo lavoro ha utilizzato un approccio di apprendimento automatico per analizzare come il MTL rappresenta diversi tipi di informazioni mentre guardiamo un film completo. Abbiamo cercato di rispondere a diverse domande chiave: Quali caratteristiche specifiche del film possono essere rilevate dai neuroni nel MTL? Diverse regioni del MTL funzionano in modo diverso nell'identificare queste caratteristiche? E come si diffonde quell'informazione tra la popolazione di neuroni?
Durante lo studio, abbiamo registrato l'attività cerebrale di pazienti con epilessia mentre guardavano il film "500 Giorni Insieme". I pazienti avevano elettrodi impiantati nel cervello per monitorare l'attività delle crisi, permettendoci di registrare l'attività elettrica di 2.286 neuroni in diverse regioni del MTL. Abbiamo eseguito analisi per osservare schemi nelle registrazioni e come corrispondessero a eventi specifici nel film.
Analisi dell'Attività Cerebrale Durante la Visione di Film
Per capire come il MTL elabora informazioni dal film, abbiamo etichettato diverse caratteristiche presenti nel film. Queste etichette includevano la presenza dei personaggi principali, i cambiamenti nelle scene e le location. Abbiamo usato un mix di metodi manuali e automatizzati per creare queste etichette.
Abbiamo guardato come i neuroni rispondevano ai personaggi sullo schermo, agli eventi e ai cambiamenti di paesaggio. Abbiamo scoperto che i neuroni nella corteccia paraippocampale, in particolare, avevano una forte risposta alle transizioni visive nel film. Reagivano costantemente quando le scene cambiavano o quando il volto di un personaggio appariva sullo schermo.
La nostra analisi ha anche indicato che considerando tutti i neuroni insieme (a livello di popolazione), era possibile prevedere la presenza di personaggi, cambi di paesaggio e altre caratteristiche. Tuttavia, l'attività dei singoli neuroni mostrava cambiamenti chiari nei tassi di fuoco solo per le transizioni di scena.
Per indagare quanto l'attività della popolazione influenzasse queste previsioni, abbiamo eseguito analisi aggiuntive. Abbiamo scoperto che neuroni specifici che rispondevano ai cambiamenti visivi erano cruciali per prevedere le transizioni di scena, ma non aiutavano significativamente a prevedere caratteristiche legate ai personaggi.
Abbiamo fatto in modo che la nostra analisi fosse rigorosa confrontando le prestazioni delle previsioni dell'Attività Neuronale contro dati randomizzati, che servivano da controllo per aiutare a interpretare i nostri risultati in modo più affidabile.
Regioni Cerebrali e i Loro Ruoli
Abbiamo registrato dati da 29 pazienti mentre guardavano il film. Il nostro obiettivo era capire quali regioni cerebrali erano coinvolte nella rappresentazione di diverse caratteristiche semantiche del film, come personaggi e scene. I dati hanno mostrato che l'amigdala e la corteccia paraippocampale erano particolarmente importanti per riconoscere la presenza dei personaggi.
Anche alcuni neuroni nell'ippocampo hanno contribuito, ma le loro prestazioni erano generalmente più basse per la rilevazione dei personaggi. Questo suggerisce che l'amigdala è fondamentale per riconoscere i personaggi, mentre la corteccia paraippocampale gioca un ruolo significativo nel rilevare transizioni visive.
Per esplorare ulteriormente come l'attività tra le diverse regioni del MTL fosse correlata alla capacità di decodificare o identificare caratteristiche dal film, abbiamo addestrato modelli separati per le diverse regioni. Abbiamo scoperto che la corteccia paraippocampale mostrava la migliore performance per le transizioni visive (tipo tagli tra scene), mentre l'amigdala eccelleva nel rilevare caratteristiche legate ai personaggi.
L'importanza dei Singoli Neuroni vs. Gruppi di Neuroni
Nel nostro studio, abbiamo notato che la presenza di determinati neuroni reattivi non spiegava completamente le prestazioni di decodifica complessive per le caratteristiche dei personaggi. Invece, queste caratteristiche potrebbero essere distribuite più ampiamente attraverso una popolazione di neuroni.
L'analisi ha evidenziato l'idea che per alcuni tipi di informazioni, come le transizioni visive, l'attività di neuroni selettivi fosse essenziale. Al contrario, per le informazioni sui personaggi, sembrava che un gruppo più ampio di neuroni fosse più importante per un'identificazione precisa.
Abbiamo anche esplorato quanti neuroni fossero effettivamente necessari per una decodifica efficace delle caratteristiche del film. Interessantemente, abbiamo scoperto che gruppi più piccoli di circa 500 neuroni specifici fornivano tassi di decodifica molto buoni, indicando che una selezione più mirata di neuroni potesse avere un valore significativo quando si tratta di elaborare informazioni.
Implicazioni per Comprendere la Funzione Cerebrale
Attraverso questo studio, abbiamo osservato che il modo in cui il cervello elabora significati da contenuti visivi, come i film, si basa su un'interazione complessa tra diverse regioni, con alcune parti specializzate in determinati tipi di informazioni. Ad esempio, l'amigdala è cruciale per riconoscere i personaggi, mentre la corteccia paraippocampale è più sintonizzata sulle transizioni visive.
Le nostre scoperte sottolineano l'importanza di considerare sia i singoli neuroni che la popolazione nel suo complesso quando si studiano le funzioni cerebrali legate a stimoli complessi. I risultati suggeriscono che, mentre neuroni singoli possono mostrare risposte specifiche a stimoli, la popolazione più ampia di neuroni può portare molteplici livelli di informazione che nel complesso supportano la nostra comprensione di ciò che vediamo nel nostro ambiente.
L'approccio utilizzato in questo studio apre la porta a ulteriori ricerche per capire meglio come il cervello elabora informazioni in contesti reali, in particolare quelli che comportano stimoli ricchi e continui come i film. Presenta anche potenziali implicazioni su come comprendiamo e trattiamo condizioni che coinvolgono interruzioni in queste funzioni di elaborazione, fornendo un quadro più chiaro delle dinamiche nel cervello umano quando interpretiamo ciò che vediamo.
Conclusione
In sintesi, questo lavoro migliora la nostra comprensione di come il cervello funziona nel processare film e altri stimoli visivi complessi. Guardando l'attività cerebrale in tempo reale mentre si guarda un film, siamo stati in grado di identificare quali neuroni sono responsabili dell'elaborazione di caratteristiche specifiche. Questa intuizione su come varie regioni cerebrali contribuiscono alla comprensione dei significati pone le basi per ulteriori ricerche in neuroscienze e psicologia cognitiva, evidenziando la rete intricata all'interno del cervello che ci consente di decodificare ciò che viviamo nella nostra vita quotidiana.
Titolo: Decoding movie content from neuronal population activity in the human medial temporal lobe
Estratto: Neurons of the medial temporal lobe (MTL) form the basis of semantic representation in the human brain. While known to contain category-selective cells, it is unclear how the MTL processes naturalistic, dynamic stimuli. We studied 2286 neurons recorded from the hippocampus, parahippocampal cortex, amygdala, and entorhinal cortex of 29 intracranially-implanted patients during a full-length movie. While few neurons responded preferentially to semantic features, we could reliably predict the presence of characters, location, and visual transitions from the neuronal populations using a recurrent neural network. We show that decoding performance differs across regions based on the feature category, and that the performance is driven by feature-selective single neurons when decoding visual transitions such as camera cuts. These findings suggest that semantic representation in the MTL varies based on semantic category, with decoding information embedded in specific subsets of neurons for event-related features or distributed across the entire population for character and location-related features.
Autori: Florian Mormann, F. Gerken, A. Darcher, P. J. Goncalves, R. Rapp, I. Elezi, J. Niediek, M. S. Kehl, T. P. Reber, S. Liebe, J. H. Macke, L. Leal-Taixe
Ultimo aggiornamento: 2024-06-13 00:00:00
Lingua: English
URL di origine: https://www.biorxiv.org/content/10.1101/2024.06.13.598791
Fonte PDF: https://www.biorxiv.org/content/10.1101/2024.06.13.598791.full.pdf
Licenza: https://creativecommons.org/licenses/by-nc/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia biorxiv per l'utilizzo della sua interoperabilità ad accesso aperto.