Melhorando a Recuperação da Memória Usando Tecnologia de IA

As pessoas costumam guardar memórias em forma de fotos, vídeos e capturas de tela. Embora existam ferramentas de IA que ajudam a buscar esses dados usando linguagem natural, geralmente elas só recuperam informações isoladas. Elas têm dificuldade em perguntas mais complexas que exigem entender como diferentes memórias se relacionam, como contar uma história ou lembrar de uma série de eventos.

Para resolver esse problema, fizemos um estudo durante um mês onde pedimos para as pessoas manterem um diário das suas perguntas relacionadas à memória. Com isso, criamos uma lista de detalhes contextuais importantes para conectar essas memórias de forma mais eficaz.

Criamos um novo sistema que pode responder perguntas complexas sobre memórias pessoais. Esse sistema melhora as memórias individuais adicionando contexto de outras memórias relacionadas. Ele recupera memórias relevantes e usa um modelo de linguagem para fornecer respostas detalhadas.

Nos nossos testes com avaliadores humanos, nosso sistema alcançou uma precisão de 71,5%. Ele superou um sistema tradicional que geralmente recupera dados de memória, vencendo ou empatando 74,5% das vezes em comparações diretas.

#Importância das Memórias Pessoais

As pessoas frequentemente tiram fotos e fazem vídeos para guardar eventos importantes, documentar momentos especiais ou até capturar ocorrências do dia a dia. Essas memórias, coletadas ao longo do tempo, criam o que chamamos de "memórias capturadas." Essas memórias capturadas fazem parte da memória de longo prazo de uma pessoa, que inclui experiências passadas específicas e os detalhes ao redor delas.

Essas memórias têm um papel crucial quando se trata de responder perguntas pessoais como "Quais eventos eu participei na conferência CHI 2024?" Esse tipo de pergunta ajuda as pessoas a refletirem sobre seu passado e a tomarem decisões informadas no presente. No entanto, apenas as memórias capturadas não oferecem contexto suficiente para responder a essas perguntas pessoais de maneira eficaz. Muitas vezes, os detalhes essenciais estão escondidos em várias memórias e não são rotulados ou categorizados claramente.

Por exemplo, ter uma memória de uma festa na CHI 2024 não é suficiente; para responder perguntas específicas, você precisa saber o contexto, como quando e onde a festa aconteceu. Responder a essas perguntas exige juntar informações de várias memórias.

#Limitações das Ferramentas de IA Existentes

Avanços em IA possibilitaram o tratamento de perguntas sobre documentos extensos, bancos de dados de conhecimento e vídeos. A maioria desses métodos depende de um treinamento extenso usando grandes conjuntos de dados. No entanto, como as memórias pessoais são privadas, é desafiador criar grandes conjuntos de dados especificamente para esse propósito.

Algumas abordagens recentes de IA, como o método de Geração Aumentada por Recuperação (RAG), usam bancos de dados externos disponíveis para responder perguntas sem precisar de treinamento específico em dados pessoais. No entanto, as memórias capturadas muitas vezes não têm rotulagem clara, dificultando a busca por relações específicas entre perguntas e memórias relevantes.

Nosso sistema aborda essa lacuna respondendo de forma robusta e completa a perguntas relacionadas à memória pessoal. Ele tem dois componentes principais:

1. Um processo para melhorar as memórias capturadas com informações contextuais relevantes.
2. Uma interface de linguagem natural que recupera essas memórias melhoradas para responder perguntas.

#Estudo do Diário

Para entender como melhorar as perguntas que as pessoas fazem sobre suas memórias, realizamos um estudo do diário onde os participantes registraram suas perguntas. O objetivo era compreender os tipos de perguntas que as pessoas têm e como aprimorar a Recuperação de Memórias.

Essa abordagem nos permitiu coletar perguntas genuínas que as pessoas tinham em situações da vida real. Nossos participantes incluíram um grupo diversificado da América do Norte e Ásia. Enquanto alguns participantes registraram ativamente suas atividades diárias, outros apenas anotaram eventos significativos.

No total, coletamos 299 perguntas de nossos participantes. Categorizamos essas perguntas em três tipos:

1. Perguntas de Conteúdo Direto: Essas perguntam por informações específicas contidas em uma memória.
2. Filtros Contextuais: Essas se concentram em encontrar memórias com base em certos contextos, como tempo ou local.
3. Perguntas Híbridas: Essas combinam pedidos diretos e contexto.

#Tipos de Informação Contextual

A partir de nossa análise, identificamos várias categorias importantes de informação contextual para informar o design do nosso sistema. Dividimos em três categorias principais:

1. Contexto Atômico: Isso inclui detalhes específicos de uma única memória, como tempo ou lugar.
2. Contexto Composto: Isso se refere a uma combinação de múltiplos contextos atômicos que formam uma memória mais ampla.
3. Conhecimento Semântico: Isso é conhecimento geral inferido de memórias pessoais ao longo do tempo, distinto de eventos específicos.

Usar essas categorias ajuda a aumentar os dados de memória, facilitando a resposta a consultas complexas.

#Processo de Aumento de Memória

Nosso sistema melhora as memórias capturadas por meio de várias etapas:

1. Estruturando Memórias Capturadas: Processamos cada memória para extrair informações contextuais e anotá-las com detalhes relevantes.
2. Identificando Contextos Compostos: Revisamos segmentos de tempo dentro das memórias para descobrir como diferentes memórias se conectam, usando uma abordagem de "janela deslizante".
3. Inferindo Conhecimento Semântico: Analisamos as memórias coletadas para encontrar insights mais amplos sobre o comportamento ou experiências de um usuário.

#Respondendo Perguntas

Após aumentar as memórias, nosso sistema lida com as perguntas dos usuários seguindo uma abordagem estruturada:

1. Aumento da Consulta: O sistema reescreve as consultas dos usuários para corresponder melhor às memórias armazenadas.
2. Recuperando Memórias Relevantes: Ele combina a consulta aumentada com memórias melhoradas para compilar um conjunto de resultados relevantes.
3. Gerando Respostas: O sistema usa um modelo de linguagem para fornecer respostas abrangentes com base nas memórias recuperadas.

Em testes com usuários, mostramos que nosso sistema gerencia efetivamente consultas complexas, superando sistemas de referência em precisão e completude.

#Avaliação do Usuário

Para validar o sistema, recrutamos participantes que usaram seus próprios dados de memória para testar nossa ferramenta. Eles fizeram perguntas baseadas em suas memórias e avaliaram o desempenho do sistema. Os participantes compararam as respostas do nosso sistema com as de um modelo tradicional baseado em recuperação.

Nosso sistema teve um desempenho significativamente melhor. Ele não apenas encontrou as respostas certas, mas também forneceu um contexto mais claro para essas respostas. Os usuários apreciaram a capacidade de fazer perguntas complexas e receber respostas significativas.

#Feedback e Reações

Os participantes compartilharam suas opiniões sobre como o sistema lidou com várias perguntas. Enquanto alguns acharam as respostas precisas, outros apontaram áreas para melhoria, incluindo problemas com a recuperação de detalhes específicos e o manuseio de relações complexas dentro das memórias.

#Melhorias Futuras

Com base no feedback dos usuários, vemos várias áreas para desenvolvimento futuro:

1. Interfaces Interativas: Indo além da simples pergunta-resposta, poderíamos criar sistemas que permitem aos usuários explorar suas memórias de forma interativa.
2. Mecanismos de Correção de Erros: Permitir que os usuários corrijam ou forneçam feedback sobre as interpretações do sistema poderia tornar a experiência mais robusta.
3. Capacidades Multimodais: Integrar diferentes formas de entrada, como voz ou imagens, poderia melhorar a capacidade do sistema de entender a intenção do usuário.
4. Considerações de Privacidade: À medida que coletamos mais dados pessoais, garantir a privacidade do usuário será fundamental. Precisaremos explorar métodos para armazenamento e processamento seguro de dados.

#Conclusão

O objetivo do nosso sistema é melhorar a forma como as pessoas interagem com suas memórias pessoais. Ao abordar as deficiências das ferramentas existentes, pretendemos fornecer uma maneira mais intuitiva para os usuários consultarem suas memórias e receberem respostas completas.

Por meio de nossa pesquisa e desenvolvimento, damos passos significativos para construir um sistema que não só responde a perguntas sobre memórias pessoais, mas também fornece insights mais profundos sobre a vasta quantidade de dados que os indivíduos coletam ao longo do tempo. Ao incorporar o feedback dos usuários e continuar melhorando nossos métodos, esperamos tornar essa ferramenta ainda mais eficaz em apoiar a recuperação de memórias pessoais.