Simple Science

Scienza all'avanguardia spiegata semplicemente

# Informatica# Interazione uomo-macchina# Intelligenza artificiale# Visione artificiale e riconoscimento di modelli# Robotica

Migliorare la Collaborazione Uomo-Robot con il Riconoscimento dell'Attenzione

Questo studio si concentra sul riconoscere l'attenzione umana per migliorare l'assistenza dei robot negli ambienti di lavoro.

― 5 leggere min


RiconoscimentoRiconoscimentodell'attenzione nellavoro uomo-robotrobot.dello sguardo migliori l'assistenza deiUno studio mostra come la direzione
Indice

Nel mondo di oggi, lavorare con i robot sta diventando sempre più comune, soprattutto in posti come le fabbriche. Per assicurarci che gli esseri umani e i robot lavorino bene insieme, dobbiamo prestare Attenzione a come le persone si concentrano sui loro compiti. Questa concentrazione, o attenzione, spesso si manifesta attraverso dove una persona sta guardando – si chiama "direzione dello sguardo". Capire questo sguardo è importante per migliorare il modo in cui i robot assistono i lavoratori umani.

L'Importanza del Riconoscimento dell'Attenzione

Quando gli esseri umani lavorano accanto ai robot, come si concentrano può dire al robot molto su ciò di cui una persona ha bisogno. Ad esempio, se un lavoratore sta guardando altrove o sembra distratto, il robot potrebbe aver bisogno di rallentare o fermarsi per non intralciare. Riconoscere quando una persona è distratta può aiutare a ridurre lo stress per l'operatore umano, portando a un’esperienza lavorativa migliore.

L’attenzione può essere divisa in tre aree principali in base a dove una persona sta guardando:

  1. Attenzione sul Robot: Questo significa che la persona sta seguendo ciò che il robot sta facendo o sta aspettando che completi un compito.
  2. Attenzione sul Tavolo di Lavoro: La persona è concentrata sul lavoro che sta facendo.
  3. Distratto: L'essere umano sta guardando altrove e non è concentrato né sul robot né sul compito.

Come Riconosciamo l'Attenzione

Per capire dove sta guardando una persona, si utilizza un approccio speciale. Abbiamo addestrato un tipo di programma per computer chiamato modello di deep learning. Ecco come funziona:

  1. Modello di Stima dello Sguardo: Prima di tutto, alleniamo un modello per capire dove qualcuno sta guardando basandoci su immagini. Un grande dataset di immagini, che mostra persone che guardano in diverse direzioni, aiuta ad addestrare questo modello.

  2. Transfer Learning per il Riconoscimento dell'Attenzione: Una volta che abbiamo il modello di stima dello sguardo, lo applichiamo per identificare le aree di attenzione. Prendiamo ciò che il primo modello ha imparato e lo usiamo per addestrare il nostro modello di riconoscimento dell’attenzione con un dataset più piccolo. Questo dataset più piccolo contiene immagini etichettate come "guardando il robot," "guardando il tavolo," o "distratto."

Impostazione dell'Esperimento

Per testare quanto bene funziona il nostro modello, abbiamo allestito un compito di assemblaggio che simula ciò che accade in un ambiente industriale. Un operatore umano lavora con un robot per assemblare un prodotto, come un cambio. Abbiamo progettato uno spazio di lavoro con due tavoli disposti in modo tale che robot e umano potessero collaborare facilmente.

L'operatore e il robot condividono il lavoro: il robot gestisce alcune parti mentre l'umano fa altre. Sia il robot che la persona devono tenere d'occhio l'uno l'altro, e le loro interazioni possono cambiare in base a dove è diretta l’attenzione di ciascuno.

Raccolta Dati

Per raccogliere dati per costruire i nostri modelli, abbiamo registrato video di partecipanti che completano compiti di assemblaggio con il robot. Ogni sessione durava circa un’ora e i partecipanti lavoravano per diversi giorni per simulare un ambiente lavorativo reale. I video hanno catturato interazioni naturali senza guidare i partecipanti su dove guardare, garantendo così di ottenere un comportamento genuino dello sguardo.

Valutazione del Nostro Modello

Dopo aver raccolto i dati, abbiamo usato vari metodi per vedere quanto bene funziona il nostro modello di riconoscimento dello sguardo. Ci siamo concentrati non solo su quanto sia accurato nell'identificare dove una persona sta guardando, ma anche su quanto bene riconosce quando una persona è distratta.

  1. Valutazione Leave-One-Subject-Out: Questo approccio assicura che testiamo il modello contro dati di partecipanti che non ha visto prima. Questo è importante per controllare se il nostro modello può generalizzare il suo apprendimento a nuove persone.

  2. Risultati e Osservazioni: I risultati hanno mostrato che il modello funziona bene, con buona accuratezza nel riconoscere dove si trova l’attenzione dell’individuo. Tuttavia, abbiamo notato che riconoscere quando una persona è distratta ha bisogno di miglioramenti poiché molte istanze di distrazione sono state scambiate per attenzione sul tavolo di lavoro.

Intuizioni dallo Studio

Dalla nostra ricerca, abbiamo appreso cose cruciali sul riconoscimento dell'attenzione:

  • Necessità di Test Realistici: Gli studi tradizionali spesso testano le persone in ambienti controllati dove viene detto esattamente dove guardare. Questo non riflette le condizioni di lavoro genuine. Il nostro studio sottolinea l'importanza di valutare i modelli in ambienti realistici dove gli individui sono liberi di guardare dove vogliono.

  • Sfide nel Riconoscimento: Anche se i modelli hanno fatto un buon lavoro, c’è spazio per miglioramenti. Ad esempio, distinguere tra qualcuno che guarda il tavolo di lavoro mentre è distratto e lavorare può essere complicato.

  • Direzioni per la Ricerca Futura: Andando avanti, puntiamo a migliorare il nostro modello di riconoscimento dell'attenzione incorporando più dati, come misurare quanto vicine sono le mani di una persona al tavolo di lavoro e la loro posizione corporea generale. Questo approccio multidimensionale potrebbe portare a una migliore comprensione e previsione del focus di una persona.

Conclusione

In sintesi, riconoscere dove sta guardando un operatore umano durante la collaborazione con un robot è utile per creare interazioni più fluide. Allenando i modelli a cogliere la direzione dello sguardo, possiamo aiutare i robot ad adattare le loro azioni in base alla presenza o assenza dell’attenzione umana. Questo studio fornisce una solida base per lavori futuri nel rendere i compiti assistiti dai robot più efficienti e user-friendly in contesti reali.

Le intuizioni ottenute da questa ricerca contribuiranno infine ai progressi nella collaborazione uomo-robot, assicurando che entrambe le parti possano lavorare insieme in modo efficace in varie applicazioni industriali.

Fonte originale

Titolo: Gaze-based Attention Recognition for Human-Robot Collaboration

Estratto: Attention (and distraction) recognition is a key factor in improving human-robot collaboration. We present an assembly scenario where a human operator and a cobot collaborate equally to piece together a gearbox. The setup provides multiple opportunities for the cobot to adapt its behavior depending on the operator's attention, which can improve the collaboration experience and reduce psychological strain. As a first step, we recognize the areas in the workspace that the human operator is paying attention to, and consequently, detect when the operator is distracted. We propose a novel deep-learning approach to develop an attention recognition model. First, we train a convolutional neural network to estimate the gaze direction using a publicly available image dataset. Then, we use transfer learning with a small dataset to map the gaze direction onto pre-defined areas of interest. Models trained using this approach performed very well in leave-one-subject-out evaluation on the small dataset. We performed an additional validation of our models using the video snippets collected from participants working as an operator in the presented assembly scenario. Although the recall for the Distracted class was lower in this case, the models performed well in recognizing the areas the operator paid attention to. To the best of our knowledge, this is the first work that validated an attention recognition model using data from a setting that mimics industrial human-robot collaboration. Our findings highlight the need for validation of attention recognition solutions in such full-fledged, non-guided scenarios.

Autori: Pooja Prajod, Matteo Lavit Nicora, Matteo Malosio, Elisabeth André

Ultimo aggiornamento: 2023-03-30 00:00:00

Lingua: English

URL di origine: https://arxiv.org/abs/2303.17619

Fonte PDF: https://arxiv.org/pdf/2303.17619

Licenza: https://creativecommons.org/licenses/by-sa/4.0/

Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.

Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.

Altro dagli autori

Articoli simili