Simple Science

Ciência de ponta explicada de forma simples

# Informática# Interação Homem-Computador# Computação e linguagem

Melhorando o Reconhecimento de Atividades Humanas com Técnicas em Duas Etapas

Uma nova abordagem melhora o reconhecimento de atividades usando dispositivos vestíveis sem precisar de muitas etiquetas.

― 6 min ler


Reconhecimento deReconhecimento deAtividades Facilitadoexigir muito rotulagem.Novos métodos aumentam a precisão sem
Índice

Reconhecimento de Atividade Humana (HAR) é super importante pra entender como as pessoas se comportam no dia a dia. Isso pode ajudar a melhorar várias aplicações, desde casas inteligentes até saúde. HAR usa dados de Dispositivos Vestíveis, como relógios inteligentes ou rastreadores de fitness, pra acompanhar como as pessoas se movem e com quais objetos interagem. Esses dados podem mostrar que atividades alguém tá fazendo, tipo cozinhar ou limpar.

A Importância de Usar Dispositivos Vestíveis

Dispositivos vestíveis são práticos pra HAR porque costumam ser menos intrusivos que outros métodos, como câmeras de vídeo. Eles coletam dados de como as pessoas usam as mãos e os corpos ao longo do dia. Por exemplo, se alguém tá usando uma faca e picando legumes, o dispositivo pode registrar essa atividade sem precisar de um rótulo ou input manual.

Mas, os métodos tradicionais de HAR costumam exigir dados rotulados, o que significa que alguém tem que marcar qual atividade é cada uma. Criar esses rótulos pode levar muito tempo e expertise. Por isso, tá rolando um interesse crescente em técnicas de Aprendizado Não Supervisionado. Esses métodos permitem que os sistemas aprendam com dados sem precisar de atividades rotuladas.

Técnicas de Aprendizado Não Supervisionado

Nos últimos anos, pesquisadores têm explorado maneiras do aprendizado não supervisionado ajudar a reconhecer atividades sem precisar de muitos rótulos. Focando nos objetos que as pessoas usam, é possível identificar diferentes atividades. Por exemplo, se uma pessoa tá usando uma vassoura e uma pá, isso pode sugerir que ela tá limpando.

Alguns estudos mostraram que gravar a sequência de objetos usados em várias tarefas pode levar a um reconhecimento de atividade bem sucedido. Isso envolve observar a ordem em que os itens são usados e entender como esses itens se relacionam com atividades específicas.

Desafios no HAR

Um dos desafios no HAR é que muitas atividades compartilham objetos sobrepostos. Por exemplo, cozinhar e limpar podem envolver o uso de uma tábua de cortar. Se só os nomes dos objetos forem fornecidos, fica difícil pro sistema saber qual atividade tá rolando.

Outro desafio é que os métodos atuais de induzir ou guiar modelos de aprendizado muitas vezes não conseguem esclarecer quais objetos são mais importantes pra distinguir entre atividades parecidas. Isso pode levar a confusões e reconhecimento incorreto de atividades.

Engenharia de Prompt em Duas Etapas

Pra lidar com esses desafios, uma nova abordagem chamada engenharia de prompt em duas etapas foi introduzida. Esse método visa melhorar como as informações são inseridas em modelos de aprendizado, como o ChatGPT.

Primeira Etapa: Geração de Conhecimento

Na primeira etapa, o objetivo é gerar descrições detalhadas de atividades com base nos objetos sendo usados. Em vez de apenas fornecer uma lista de objetos, essa abordagem ajuda a esclarecer quais objetos são essenciais pra diferenciar entre as atividades. Ao gerar descrições relacionadas a atividades específicas, fica mais fácil pro modelo reconhecer diferentes ações.

Por exemplo, se o modelo é informado sobre uma atividade de limpeza, ele pode entender que pode envolver objetos como uma vassoura e uma pá. Da mesma forma, ele aprenderia sobre uma rotina matinal que pode envolver abrir gavetas e acender luzes.

Segunda Etapa: Geração de Respostas

A segunda etapa usa o conhecimento gerado na primeira etapa pra fazer previsões sobre que atividade tá sendo realizada com base nos objetos listados. Focando nas descrições criadas na primeira etapa, o modelo pode prever melhor qual atividade combina com os objetos fornecidos.

Quando uma lista de objetos é inserida no modelo, ele pode agora se basear nas descrições geradas pra esclarecer qual é a atividade mais provável. Por exemplo, se a entrada for uma lista que inclua uma frigideira e uma espátula, o modelo pode reconhecer que tá rolando uma atividade de cozinhar.

Comparando Essa Abordagem com Outras

Esse método em duas etapas foi testado contra outros métodos de aprendizado comumente usados. Por exemplo, algumas abordagens usam prompting zero-shot, que significa que não fornecem conhecimento de fundo e confiam apenas nos nomes dos objetos pra fazer previsões. Outras usam prompting baseado em recuperação de conhecimento, onde o conhecimento é extraído de conjuntos de dados ou outras fontes.

Mas, o prompting zero-shot enfrenta dificuldades com objetos sobrepostos, já que falta informação contextual adicional. Métodos baseados em recuperação também não foram bem, enquanto o método em duas etapas ofereceu resultados consistentemente melhores.

Avaliação Experimental

O método proposto foi avaliado em vários conjuntos de dados que rastreiam diferentes atividades humanas. Os resultados mostraram que a abordagem em duas etapas superou métodos mais tradicionais no reconhecimento correto das atividades.

Por exemplo, em um conjunto de dados onde atividades cotidianas como cozinhar foram registradas, a abordagem em duas etapas conseguiu distinguir entre tarefas semelhantes de maneira muito mais eficaz. Ela identificou atividades com sucesso gerando descrições significativas a partir dos objetos dados e do conhecimento gerado anteriormente.

Conclusão

Resumindo, o reconhecimento de atividade humana usando dispositivos vestíveis tem muito potencial pra várias aplicações, mas vem com desafios. Métodos tradicionais costumam exigir dados rotulados extensivos, o que pode ser impraticável. A abordagem de engenharia de prompt em duas etapas oferece uma solução que melhora o reconhecimento de atividades gerando descrições significativas de atividades com base nos objetos usados. Esse método não só foca nas relações entre atividades e objetos, mas também melhora a precisão das previsões sem precisar de um conhecimento de fundo extenso ou rótulos.

À medida que a tecnologia HAR continua avançando, essas melhorias vão facilitar pro sistemas entenderem o comportamento humano e aprimorar as aplicações que dependem desse entendimento. Seja em monitoramento de saúde pessoal, ambientes de vida inteligentes ou assistência a idosos, reconhecer atividades humanas de forma precisa vai abrir caminho pra sistemas mais personalizados e eficientes.

Fonte original

Título: Unsupervised Human Activity Recognition through Two-stage Prompting with ChatGPT

Resumo: Wearable sensor devices, which offer the advantage of recording daily objects used by a person while performing an activity, enable the feasibility of unsupervised Human Activity Recognition (HAR). Unfortunately, previous unsupervised approaches using the usage sequence of objects usually require a proper description of activities manually prepared by humans. Instead, we leverage the knowledge embedded in a Large Language Model (LLM) of ChatGPT. Because the sequence of objects robustly characterizes the activity identity, it is possible that ChatGPT already learned the association between activities and objects from existing contexts. However, previous prompt engineering for ChatGPT exhibits limited generalization ability when dealing with a list of words (i.e., sequence of objects) due to the similar weighting assigned to each word in the list. In this study, we propose a two-stage prompt engineering, which first guides ChatGPT to generate activity descriptions associated with objects while emphasizing important objects for distinguishing similar activities; then outputs activity classes and explanations for enhancing the contexts that are helpful for HAR. To the best of our knowledge, this is the first study that utilizes ChatGPT to recognize activities using objects in an unsupervised manner. We conducted our approach on three datasets and demonstrated the state-of-the-art performance.

Autores: Qingxin Xia, Takuya Maekawa, Takahiro Hara

Última atualização: 2023-06-03 00:00:00

Idioma: English

Fonte URL: https://arxiv.org/abs/2306.02140

Fonte PDF: https://arxiv.org/pdf/2306.02140

Licença: https://creativecommons.org/licenses/by/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.

Artigos semelhantes