Revolucionando a digitalização de recibos com um novo app

Hoje em dia, muitos pagamentos estão mudando de dinheiro para métodos digitais. Porém, os recibos de papel ainda são bastante comuns após compras em lojas físicas. Esses recibos são importantes porque servem para várias coisas. Eles provêm prova de compra, que pode ser útil em casos de roubo ou para devolver produtos. Também ajudam a documentar despesas para empregadores ou autoridades fiscais. Além disso, os recibos de papel contêm informações detalhadas que muitas vezes não estão disponíveis pelos métodos de pagamento digitais, como os itens comprados, hora e local da compra, e quaisquer descontos aplicados. Portanto, parece improvável que os recibos de papel desapareçam completamente tão cedo.

#Soluções Existentes

Existem vários aplicativos para smartphone que ajudam a capturar e digitalizar recibos de papel. Alguns populares incluem Apple Notes, Expensify e Zoho. O app Money Forward ME tem mais de 12 milhões de usuários no Japão e processa milhões de Imagens de recibos todo mês. A maioria desses aplicativos exige que o usuário alinhe bem o recibo em uma área específica na tela do celular. Esse processo pode ser chato e sujeito a erros. Por exemplo, pressionar o botão para tirar a foto pode mudar a posição da câmera, resultando em uma imagem borrada. Os usuários também podem ter dificuldades para tirar uma foto de cima se precisarem se levantar para alinhar o recibo corretamente. Portanto, um método automático para detectar e corrigir imagens de recibos tornaria o processo mais fácil para o usuário e também melhoraria a precisão de outras tarefas, como ler e gerenciar o texto no recibo.

#Nossa Proposta

Esse texto discute um novo aplicativo para smartphone que permite aos usuários digitalizar rapidamente recibos de papel "movendo" o celular sobre os recibos. O app detecta e corrige automaticamente as imagens dos recibos, facilitando o armazenamento para os usuários. Uma etapa essencial nesse processo é a correção da imagem, que requer a Detecção precisa dos cantos do recibo.

#Desafios na Detecção

Métodos tradicionais para detectar bordas e cantos em imagens costumam ter dificuldades com recibos de papel. Recibos do mundo real têm bordas irregulares, e as cores podem ser similares ao fundo, o que complica a detecção. A detecção imprecisa dos cantos pode levar a imagens distorcidas ao tentar corrigir a perspectiva. Nossa abordagem envolve tratar cada canto do recibo como um objeto separado. Usamos um Modelo moderno de detecção de objetos que combina imagens reais de recibos e DadosSintéticos criados para imitar cenários do mundo real.

#Geração de Dados

Coletar um grande conjunto de imagens reais de recibos pode ser caro e demorado. Para superar isso, geramos dados sintéticos combinando imagens reais de recibos com vários fundos. Primeiro, tiramos um conjunto de imagens digitalizadas de recibos reais, garantindo que estejam em posição vertical com o mínimo de fundo exposto. Em seguida, aplicamos transformações aleatórias, como rotações e deslocamentos, para simular como os usuários poderiam tirar fotos de diferentes ângulos e posições.

Para criar os dados sintéticos, escolhemos fundos diversos em que os usuários poderiam colocar seus recibos. Assim, conseguimos treinar o modelo para reconhecer recibos contra uma variedade de fundos, incluindo aqueles que podem ter cores ou texturas parecidas. Gerando um conjunto de imagens que inclui vários recibos em posições aleatórias, garantimos que o modelo aprenda a ignorar objetos interferentes e focar no recibo alvo.

#Técnicas de Aumento

Uma vez que temos nossos recibos sintéticos, aplicamos uma série de transformações para gerar uma variedade de imagens diferentes. Isso inclui mudar a escala, deslocar as posições e aplicar rotações para criar diferentes perspectivas. Isso ajuda a simular cenários da vida real em que a câmera do usuário pode não estar perfeitamente posicionada.

Ao aplicar essas transformações, não só criamos um conjunto de dados mais extenso, mas também ajudamos o modelo a aprender como identificar cantos de recibos mesmo quando não estão claramente visíveis ou perfeitamente alinhados.

#Treinando o Modelo

Treinamos nosso modelo usando tanto dados reais quanto sintéticos. Para nosso processo de treinamento, usamos uma estrutura popular de aprendizado profundo que nos permite alimentar nossos dados rotulados e ajustar os parâmetros do modelo para melhorar a precisão. O modelo aprende a reconhecer os quatro cantos de um recibo como objetos únicos, em vez de procurar o recibo inteiro como uma única entidade.

Durante o treinamento, monitoramos o desempenho do modelo e fazemos ajustes conforme necessário. Nosso objetivo é que o modelo alcance alta precisão na detecção de cantos, mesmo em condições desafiadoras, como baixo contraste ou recibos sobrepostos.

#Avaliação do Modelo

Para avaliar o desempenho do nosso modelo, comparamos sua performance com métodos tradicionais de detecção de bordas. Descobrimos que nossa abordagem é significativamente mais precisa. Por exemplo, enquanto os métodos tradicionais podem identificar corretamente os cantos apenas cerca de 36% das vezes, nosso modelo alcança uma precisão de mais de 85%. Essa melhoria é crucial para garantir que os usuários possam confiar no app para reconhecer e armazenar seus recibos corretamente.

#Experiência do Usuário

Um dos principais objetivos do nosso aplicativo é simplificar a experiência do usuário. Em vez de exigir que os usuários alinhem perfeitamente seus recibos, o app permite que eles adotem uma abordagem mais relaxada, passando o celular sobre os recibos. Isso reduz a frustração e a probabilidade de erros.

Planejamos integrar esse recurso de detecção de recibos no aplicativo Money Forward ME, proporcionando aos usuários uma maneira tranquila de gerenciar seus recibos. Os usuários não precisarão se preocupar com o posicionamento ou alinhamento exato, tornando o processo mais agradável e menos estressante.

#Melhorias Futuras

Embora nosso modelo atual mostre resultados promissores, reconhecemos o potencial para melhorias adicionais. Uma área que queremos explorar é a capacidade de detectar cantos que podem não estar totalmente visíveis, seja porque estão ocultos ou danificados. Também planejamos investigar como retificar imagens de recibos que estão curvados ou amassados.

Ao continuar a melhorar nosso modelo e usar dados mais variados do mundo real, esperamos alcançar um desempenho ainda melhor. Isso facilitará para os usuários capturar e gerenciar seus recibos, independentemente das condições.

#Conclusão

Em resumo, desenvolvemos um aplicativo inovador para smartphone que permite aos usuários digitalizar facilmente recibos de papel ao escaneá-los com seus celulares. Nossa abordagem aproveita técnicas modernas de detecção de objetos, que se mostraram mais eficazes do que métodos tradicionais. Ao gerar dados sintéticos e treinar nosso modelo em um conjunto diversificado de imagens, conseguimos alta precisão na detecção de cantos de recibos mesmo em condições desafiadoras.

Esse aplicativo ajudará a agilizar o processo de gerenciamento de recibos, tornando-o mais acessível e amigável. No futuro, pretendemos aprimorar ainda mais o app enfrentando questões mais complexas relacionadas à detecção e correção de recibos. Agradecemos o feedback sobre nosso trabalho e estamos ansiosos para tornar essa ferramenta ainda melhor para os usuários.