Melhorando a Colaboração Humano-Robô com Reconhecimento de Atenção
Este estudo foca em reconhecer a atenção humana pra melhorar a assistência de robôs em ambientes de trabalho.
― 5 min ler
No mundo de hoje, trabalhar com robôs tá ficando cada vez mais comum, principalmente em fábricas. Pra garantir que humanos e robôs trabalhem bem juntos, a gente precisa prestar Atenção em como as pessoas se focam nas tarefas. Esse foco, ou atenção, geralmente aparece pelo olhar da pessoa – isso se chama "direção do olhar." Entender esse olhar é importante pra melhorar a forma como os robôs ajudam os trabalhadores humanos.
A Importância do Reconhecimento de Atenção
Quando humanos trabalham ao lado de robôs, como eles se focam pode dizer muito sobre o que a pessoa precisa. Por exemplo, se um trabalhador tá olhando pra longe ou parece distraído, o robô pode precisar desacelerar ou parar o que tá fazendo pra não atrapalhar. Reconhecer quando alguém tá distraído pode ajudar a reduzir o estresse do operador humano, resultando em uma experiência de trabalho melhor.
A atenção pode ser dividida em três áreas principais com base em onde a pessoa tá olhando:
- Atenção no Robô: Isso significa que a pessoa tá acompanhando o que o robô tá fazendo ou esperando ele terminar uma tarefa.
- Atenção na Mesa de Trabalho: A pessoa tá focada no que tá fazendo.
- Distraído: A pessoa tá olhando pra outro lugar e não tá focada nem no robô nem na tarefa.
Como Reconhecemos a Atenção
Pra descobrir onde a pessoa tá olhando, a gente usa uma abordagem especial. Treinamos um tipo de programa de computador chamado modelo de aprendizado profundo. Aqui tá como funciona:
Modelo de Estimativa de Olhar: Primeiro, treinamos um modelo pra entender onde alguém tá olhando com base em imagens. Um grande conjunto de dados de imagens, mostrando pessoas olhando em diferentes direções, ajuda a treinar esse modelo.
Aprendizado por Transferência para Reconhecimento de Atenção: Depois de ter o modelo de estimativa de olhar, aplicamos ele pra identificar as áreas de foco. Pegamos o que o primeiro modelo aprendeu e usamos pra treinar nosso modelo de reconhecimento de atenção com um conjunto de dados menor. Esse conjunto menor contém imagens rotuladas como "olhando pro robô," "olhando pra mesa," ou "distraído."
Montando o Experimento
Pra testar como nosso modelo funciona, montamos uma tarefa de montagem que imita o que acontece em um ambiente industrial. Um operador humano trabalha com um robô pra montar um produto, como uma caixa de engrenagens. A gente desenhou um espaço de trabalho com duas mesas arrumadas de forma que o robô e o humano pudessem colaborar fácil.
O operador e o robô compartilham o trabalho: o robô lida com algumas peças enquanto o humano faz outras. Tanto o robô quanto a pessoa precisam ficar de olho um no outro, e as interações deles podem mudar baseado em onde cada um tá olhando.
Coleta de Dados
Pra juntar dados pra construir nossos modelos, gravamos vídeos de participantes completando tarefas de montagem com o robô. Cada sessão durou cerca de uma hora, e os participantes trabalharam durante vários dias pra simular um ambiente de trabalho real. Os vídeos capturaram interações naturais sem orientar os participantes sobre onde olhar, assim garantindo que a gente consiga um comportamento de olhar genuíno.
Avaliando Nosso Modelo
Depois de juntar os dados, usamos vários métodos pra ver como nosso modelo de reconhecimento de olhar funciona. A gente focou não só em quão precisamente ele identifica onde alguém tá olhando, mas também em quão bem ele reconhece quando uma pessoa tá distraída.
Avaliação Leave-One-Subject-Out: Essa abordagem garante que a gente testa o modelo com dados de participantes que ele nunca viu antes. Isso é importante pra checar se nosso modelo consegue generalizar seu aprendizado pra novas pessoas.
Resultados e Observações: Os resultados mostraram que o modelo se saiu bem, com boa precisão em reconhecer onde tá a atenção do indivíduo. Mas, percebemos que reconhecer quando uma pessoa tá distraída precisa melhorar, já que muitos momentos distraídos foram confundidos com atenção na mesa de trabalho.
Insights do Estudo
Com nossa pesquisa, aprendemos coisas importantes sobre reconhecimento de atenção:
Necessidade de Testes Realistas: Estudos tradicionais muitas vezes testam as pessoas em ambientes controlados onde elas são ditas exatamente onde olhar. Isso não reflete condições de trabalho genuínas. Nosso estudo destaca a importância de avaliar modelos em cenários realistas onde as pessoas estão livres pra olhar onde quiserem.
Desafios no Reconhecimento: Embora os modelos tenham se saído bem, ainda há espaço pra melhorar. Por exemplo, distinguir entre alguém olhando pra mesa de trabalho enquanto tá distraído ou trabalhando pode ser desafiador.
Direções pra Pesquisas Futuras: Indo pra frente, a gente pretende aprimorar nosso modelo de reconhecimento de atenção incorporando mais dados, como medir quão perto as mãos de uma pessoa estão da mesa de trabalho e a posição geral do corpo dela. Essa abordagem multidimensional pode levar a uma melhor compreensão e previsão do foco de uma pessoa.
Conclusão
Resumindo, reconhecer onde um operador humano tá olhando durante a colaboração com um robô é benéfico pra criar interações mais suaves. Ao treinar modelos pra captar a direção do olhar, a gente pode ajudar os robôs a ajustarem suas ações com base na presença ou ausência da atenção humana. Esse estudo fornece uma base forte pra futuros trabalhos em tornar tarefas assistidas por robôs mais eficientes e amigáveis em ambientes reais.
Os insights obtidos dessa pesquisa vão contribuir pra avanços na colaboração humano-robô, garantindo que ambas as partes possam trabalhar juntas de forma eficaz em várias aplicações industriais.
Título: Gaze-based Attention Recognition for Human-Robot Collaboration
Resumo: Attention (and distraction) recognition is a key factor in improving human-robot collaboration. We present an assembly scenario where a human operator and a cobot collaborate equally to piece together a gearbox. The setup provides multiple opportunities for the cobot to adapt its behavior depending on the operator's attention, which can improve the collaboration experience and reduce psychological strain. As a first step, we recognize the areas in the workspace that the human operator is paying attention to, and consequently, detect when the operator is distracted. We propose a novel deep-learning approach to develop an attention recognition model. First, we train a convolutional neural network to estimate the gaze direction using a publicly available image dataset. Then, we use transfer learning with a small dataset to map the gaze direction onto pre-defined areas of interest. Models trained using this approach performed very well in leave-one-subject-out evaluation on the small dataset. We performed an additional validation of our models using the video snippets collected from participants working as an operator in the presented assembly scenario. Although the recall for the Distracted class was lower in this case, the models performed well in recognizing the areas the operator paid attention to. To the best of our knowledge, this is the first work that validated an attention recognition model using data from a setting that mimics industrial human-robot collaboration. Our findings highlight the need for validation of attention recognition solutions in such full-fledged, non-guided scenarios.
Autores: Pooja Prajod, Matteo Lavit Nicora, Matteo Malosio, Elisabeth André
Última atualização: 2023-03-30 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2303.17619
Fonte PDF: https://arxiv.org/pdf/2303.17619
Licença: https://creativecommons.org/licenses/by-sa/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.