Rivoluzionare la digitalizzazione delle ricevute con una nuova app

Nel mondo di oggi, tanti pagamenti stanno passando dai contanti ai metodi digitali. Però, gli scontrini in carta continuano a essere Dati dopo gli acquisti nei negozi fisici. Questi scontrini sono importanti perché hanno diversi scopi. Forniscono la prova di acquisto che può tornare utile in caso di furto o per restituire articoli. Aiutano anche a documentare le spese per datori di lavoro o autorità fiscali. Inoltre, gli scontrini cartacei contengono informazioni dettagliate che spesso non sono disponibili tramite i metodi di pagamento digitali, come gli articoli acquistati, l'orario e il luogo dell'acquisto e eventuali sconti utilizzati. Dunque, sembra poco probabile che gli scontrini cartacei scompaiano completamente a breve.

#Soluzioni Esistenti

Ci sono diverse app per smartphone disponibili che aiutano a catturare e digitalizzare gli scontrini in carta. Alcune delle più popolari includono Apple Notes, Expensify e Zoho. L'app Money Forward ME ha oltre 12 milioni di utenti in Giappone e gestisce milioni di Immagini di scontrini ogni mese. La maggior parte di queste app richiede all'utente di allineare correttamente lo scontrino in un'area specifica sullo schermo del telefono. Questo processo può essere noioso e soggetto a errori. Ad esempio, premere il pulsante per scattare una foto può spostare involontariamente la posizione della fotocamera, portando a un'immagine sfuocata. Gli utenti possono anche avere difficoltà a fare una foto dall'alto se devono alzarsi per allineare correttamente lo scontrino. Perciò, un metodo automatico per rilevare e correggere le immagini degli scontrini renderebbe il processo più facile per l'utente e migliorerebbe anche l'accuratezza di ulteriori compiti, come leggere e gestire il testo dello scontrino.

#La Nostra Proposta

Questo documento discute di una nuova app per smartphone che consente agli utenti di digitalizzare rapidamente gli scontrini in carta "sventolando" il telefono sopra di essi. L'app rileva e corregge automaticamente le immagini degli scontrini, rendendo facile per gli utenti archiviarli. Un passo essenziale in questo processo è la correzione dell'immagine, che richiede un Rilevamento preciso degli angoli dello scontrino.

#Sfide nel Rilevamento

I metodi tradizionali per rilevare bordi e angoli nelle immagini spesso fanno fatica con gli scontrini in carta. Gli scontrini reali hanno bordi irregolari e i colori possono essere simili a quelli dello sfondo, il che complica il loro rilevamento. Un rilevamento impreciso degli angoli può portare a immagini distorte quando si cerca di correggere la prospettiva. Il nostro approccio consiste nel trattare ciascun angolo dello scontrino come un oggetto separato. Utilizziamo un Modello moderno di rilevamento degli oggetti che combina immagini reali di scontrini e dati sintetici creati per imitare scenari del mondo reale.

#Generazione dei Dati

Raccogliere un grande set di immagini di scontrini reali può essere costoso e richiedere tempo. Per superare questo, generiamo dati sintetici combinando immagini di scontrini reali con vari sfondi. Prima prendiamo un set di immagini scannerizzate di scontrini reali, assicurandoci che siano in posizione verticale con il minimo sfondo esposto. Poi applichiamo trasformazioni casuali, come rotazioni e spostamenti, per simulare come gli utenti potrebbero scattare foto da diversi angoli e posizioni.

Per creare i dati sintetici, scegliamo sfondi diversi sui quali gli utenti potrebbero posizionare i loro scontrini. In questo modo, possiamo addestrare il modello a riconoscere gli scontrini contro una varietà di sfondi, inclusi quelli che potrebbero avere colori o trame simili. Generando un set di immagini che include più scontrini in posizioni casuali, garantiamo che il modello impari a ignorare oggetti di disturbo e a concentrarsi sullo scontrino target.

#Tecniche di Aumento

Una volta che abbiamo i nostri scontrini sintetici, applichiamo una serie di trasformazioni per generare una gamma di immagini diverse. Queste includono il cambiamento della scala, lo spostamento delle posizioni e l'applicazione di rotazioni per creare diverse prospettive. Questo aiuta a simulare scenari reali in cui la fotocamera dell'utente potrebbe non essere posizionata perfettamente.

Applicando tali trasformazioni, non solo creiamo un dataset più ampio, ma aiutiamo anche il modello a imparare come identificare gli angoli degli scontrini anche quando non sono chiaramente visibili o perfettamente allineati.

#Addestramento del Modello

Addestriamo il nostro modello utilizzando sia dati reali che sintetici. Per il nostro processo di addestramento, utilizziamo un framework di deep learning popolare che ci consente di inserire i nostri dati etichettati e regolare i parametri del modello per migliorare la sua accuratezza. Il modello impara a riconoscere i quattro angoli di uno scontrino come oggetti unici, piuttosto che cercare l'intero scontrino come un'unica entità.

Durante l'addestramento, monitoriamo le prestazioni del modello e facciamo aggiustamenti se necessario. Il nostro obiettivo è far sì che il modello raggiunga un'alta accuratezza nel rilevamento degli angoli anche in condizioni difficili, come basso contrasto o scontrini sovrapposti.

#Valutazione del Modello

Per valutare quanto bene sta funzionando il nostro modello, confrontiamo le sue prestazioni con i metodi tradizionali di rilevamento dei bordi. Scopriamo che il nostro approccio è significativamente più preciso. Ad esempio, mentre i metodi tradizionali possono identificare correttamente gli angoli solo circa il 36% delle volte, il nostro modello raggiunge un'accuratezza superiore all'85%. Questo miglioramento è cruciale per garantire che gli utenti possano fidarsi dell'app per riconoscere e archiviare correttamente i loro scontrini.

#Esperienza Utente

Uno degli obiettivi principali della nostra applicazione è semplificare l'esperienza utente. Invece di richiedere agli utenti di allineare perfettamente i loro scontrini, l'app consente loro di adottare un approccio più rilassato passando il telefono sopra gli scontrini. Questo riduce la frustrazione e la probabilità di errori.

Abbiamo in programma di integrare questa funzione di rilevamento degli scontrini nell'app Money Forward ME, fornendo agli utenti un modo intuitivo per gestire i loro scontrini. Gli utenti non dovranno preoccuparsi di un posizionamento o allineamento esatti, rendendo il processo più piacevole e meno stressante.

#Miglioramenti Futuri

Sebbene il nostro attuale modello mostri risultati promettenti, riconosciamo il potenziale per ulteriori miglioramenti. Un'area che vogliamo esplorare è la capacità di rilevare angoli che potrebbero non essere completamente visibili, sia perché sono nascosti o danneggiati. Abbiamo anche in programma di indagare su come rettificare le immagini di scontrini che sono curve o piegate.

Continuando a migliorare il nostro modello e utilizzando dati del mondo reale più vari, speriamo di ottenere prestazioni ancora migliori. Questo renderà più facile per gli utenti catturare e gestire i loro scontrini, indipendentemente dalle condizioni.

#Conclusione

In sintesi, abbiamo sviluppato una nuova applicazione per smartphone che consente agli utenti di digitalizzare facilmente gli scontrini in carta scansionandoli con i loro telefoni. Il nostro approccio sfrutta tecniche moderne di rilevamento degli oggetti, che si sono dimostrate più efficaci rispetto ai metodi tradizionali. Generando dati sintetici e addestrando il nostro modello su un set di immagini diversificato, possiamo ottenere un'alta precisione nel rilevamento degli angoli degli scontrini anche in condizioni difficili.

Questa applicazione aiuterà a semplificare il processo di gestione degli scontrini, rendendolo più accessibile e user-friendly. In futuro, miriamo a migliorare ulteriormente l'app affrontando questioni più complesse relative al rilevamento e alla correzione degli scontrini. Apprezziamo i feedback sul nostro lavoro e non vediamo l'ora di rendere questo strumento ancora migliore per gli utenti.