Revolutionierung der Quittungsdigitalisierung mit einer neuen App

In der heutigen Welt gehen viele Zahlungen von Bargeld zu digitalen Methoden über. Trotzdem gibt's in physischen Geschäften immer noch oft Papierquittungen nach dem Kauf. Die sind wichtig, weil sie mehrere Zwecke erfüllen. Sie bieten einen Kaufnachweis, was bei Diebstahl oder Rückgaben hilfreich sein kann. Ausserdem helfen sie, Ausgaben für Arbeitgeber oder das Finanzamt zu dokumentieren. Zusätzlich enthalten Papierquittungen detaillierte Informationen, die oft nicht über digitale Zahlungsmethoden verfügbar sind, wie gekaufte Artikel, Zeitpunkt und Ort des Kaufs sowie genutzte Rabatte. Daher ist es unwahrscheinlich, dass Papierquittungen so schnell ganz verschwinden.

#Bestehende Lösungen

Es gibt mehrere Smartphone-Apps, die helfen, Papierquittungen festzuhalten und zu digitalisieren. Beliebte Apps sind Apple Notes, Expensify und Zoho. Die Money Forward ME-App hat über 12 Millionen Nutzer in Japan und verarbeitet jeden Monat Millionen von Quittungsbildern. Die meisten dieser Apps verlangen von den Nutzern, dass sie die Quittung richtig in einem bestimmten Bereich auf dem Bildschirm ausrichten. Dieser Prozess kann mühsam und fehleranfällig sein. Zum Beispiel kann das Drücken des Buttons zum Fotografieren unbeabsichtigt die Kameraposition verschieben, was zu einem verschwommenen Bild führt. Nutzer haben möglicherweise auch Schwierigkeiten, ein Überkopf-Foto zu machen, wenn sie aufstehen müssen, um die Quittung richtig auszurichten. Daher würde eine automatische Methode zur Erkennung und Korrektur von Quittungsbildern den Prozess für die Nutzer erleichtern und auch die Genauigkeit weiterer Aufgaben wie das Lesen und Verwalten des Quittungstextes verbessern.

#Unser Vorschlag

In diesem Papier geht es um eine neue Smartphone-Anwendung, die es Nutzern ermöglicht, Papierquittungen schnell zu digitalisieren, indem sie ihr Handy einfach über die Quittungen „winken“. Die App erkennt und korrigiert die Quittungsbilder automatisch, was es den Nutzern leicht macht, sie zu speichern. Ein wichtiger Schritt in diesem Prozess ist die Korrektur des Bildes, die eine präzise Erkennung der Ecken der Quittung erfordert.

#Herausforderungen bei der Erkennung

Traditionelle Methoden zur Erkennung von Kanten und Ecken in Bildern haben oft Schwierigkeiten mit Papierquittungen. Quittungen aus der realen Welt haben unebene Kanten, und Farben können sich mit dem Hintergrund ähneln, was die Erkennung erschwert. Ungenaue Eckenerkennung kann zu verzerrten Bildern führen, wenn versucht wird, die Perspektive zu korrigieren. Unser Ansatz besteht darin, jede Ecke der Quittung als separates Objekt zu behandeln. Wir verwenden ein modernes Objekterkennungsmodell, das echte Bilder von Quittungen mit synthetischen Daten kombiniert, die reale Szenarien nachahmen.

#Datenerzeugung

Die Sammlung eines grossen Sets von realen Quittungsbildern kann teuer und zeitaufwendig sein. Um dies zu überwinden, erzeugen wir synthetische Daten, indem wir echte Quittungsbilder mit verschiedenen Hintergründen kombinieren. Zuerst nehmen wir eine Reihe von gescannten Bildern echter Quittungen, wobei wir darauf achten, dass sie in vertikaler Position mit minimalem Hintergrund gezeigt werden. Dann wenden wir zufällige Transformationen wie Drehungen und Verschiebungen an, um zu simulieren, wie Nutzer Fotos aus verschiedenen Winkeln und Positionen aufnehmen könnten.

Um die synthetischen Daten zu erstellen, wählen wir unterschiedliche Hintergründe, auf denen Nutzer ihre Quittungen ablegen könnten. So kann das Modell lernen, Quittungen vor einer Vielzahl von Hintergründen zu erkennen, einschliesslich solcher, die ähnliche Farben oder Texturen haben. Indem wir eine Bildersammlung generieren, die mehrere Quittungen in zufälligen Positionen enthält, stellen wir sicher, dass das Modell lernt, störende Objekte zu ignorieren und sich auf die Zielquittung zu konzentrieren.

#Augmentationstechniken

Sobald wir unsere synthetischen Quittungen haben, wenden wir eine Reihe von Transformationen an, um eine Vielzahl unterschiedlicher Bilder zu erzeugen. Dazu gehört das Ändern des Massstabs, das Verschieben der Positionen und das Anwenden von Drehungen, um verschiedene Perspektiven zu schaffen. Das hilft, reale Szenarien zu simulieren, in denen die Kamera des Nutzers möglicherweise nicht perfekt positioniert ist.

Durch solche Transformationen schaffen wir nicht nur einen umfangreicheren Datensatz, sondern helfen dem Modell auch zu lernen, wie man die Quittungsecken erkennt, selbst wenn sie nicht klar sichtbar oder perfekt ausgerichtet sind.

#Training des Modells

Wir trainieren unser Modell mit sowohl realen als auch synthetischen Daten. Für unseren Trainingsprozess verwenden wir ein beliebtes Deep-Learning-Framework, das es uns ermöglicht, unsere markierten Daten einzuspeisen und die Modellparameter anzupassen, um die Genauigkeit zu verbessern. Das Modell lernt, die vier Ecken einer Quittung als einzigartige Objekte zu erkennen, anstatt die gesamte Quittung als eine Einheit zu betrachten.

Während des Trainings überwachen wir die Leistung des Modells und nehmen Anpassungen vor, wenn nötig. Unser Ziel ist es, dass das Modell auch unter schwierigen Bedingungen wie niedrigen Kontrasten oder Überlappungen eine hohe Genauigkeit bei der Erkennung von Ecken erreicht.

#Bewertung des Modells

Um zu bewerten, wie gut unser Modell funktioniert, vergleichen wir seine Leistung mit traditionellen Kantenerkennungsmethoden. Wir stellen fest, dass unser Ansatz deutlich genauer ist. Während traditionelle Methoden Ecken nur etwa 36 % der Zeit korrekt identifizieren, erreicht unser Modell eine Genauigkeit von über 85 %. Diese Verbesserung ist entscheidend, um sicherzustellen, dass Nutzer der App vertrauen können, dass ihre Quittungen korrekt erkannt und gespeichert werden.

#Nutzererfahrung

Eines der Hauptziele unserer Anwendung ist es, die Nutzererfahrung zu vereinfachen. Anstatt dass die Nutzer ihre Quittungen perfekt ausrichten müssen, erlaubt die App ihnen, einen entspannteren Ansatz zu wählen, indem sie ihr Handy über die Quittungen schwenken. Das verringert Frustration und die Wahrscheinlichkeit von Fehlern.

Wir planen, diese Funktion zur Quittungserkennung in die Money Forward ME-App zu integrieren, um den Nutzern eine nahtlose Möglichkeit zu bieten, ihre Quittungen zu verwalten. Nutzer müssen sich keine Gedanken über die genaue Positionierung oder Ausrichtung machen, was den Prozess angenehmer und weniger stressig macht.

#Zukünftige Verbesserungen

Obwohl unser aktuelles Modell vielversprechende Ergebnisse zeigt, erkennen wir das Potenzial für weitere Verbesserungen. Ein Bereich, den wir untersuchen möchten, ist die Fähigkeit, Ecken zu erkennen, die möglicherweise nicht vollständig sichtbar sind, weil sie verdeckt oder beschädigt sind. Ausserdem planen wir, zu untersuchen, wie man Bilder von Quittungen, die gekrümmt oder gefaltet sind, korrigieren kann.

Durch die kontinuierliche Verbesserung unseres Modells und die Verwendung vielfältigerer Daten aus der realen Welt hoffen wir, eine noch bessere Leistung zu erzielen. Das wird es den Nutzern erleichtern, ihre Quittungen zu erfassen und zu verwalten, unabhängig von den Bedingungen.

#Fazit

Zusammenfassend haben wir eine neuartige Smartphone-Anwendung entwickelt, die es Nutzern ermöglicht, Papierquittungen einfach zu digitalisieren, indem sie sie mit ihren Handys scannen. Unser Ansatz nutzt moderne Objekterkennungstechniken, die sich als effektiver erwiesen haben als traditionelle Methoden. Durch die Generierung synthetischer Daten und das Training unseres Modells mit einer vielfältigen Bildersammlung können wir eine hohe Genauigkeit bei der Erkennung von Quittungsecken selbst unter schwierigen Bedingungen erreichen.

Diese Anwendung wird den Prozess der Verwaltung von Quittungen optimieren und ihn zugänglicher und benutzerfreundlicher machen. In Zukunft wollen wir die App weiter verbessern, indem wir komplexere Probleme im Zusammenhang mit der Quittungserkennung und -korrektur angehen. Wir schätzen das Feedback zu unserer Arbeit und freuen uns darauf, dieses Tool für die Nutzer noch besser zu machen.