視覚と言語モデルを使った手書き認識の進展

タブレットでタッチスクリーンとスタイラスを使うのがどんどん一般的になってきてるね。この技術の大きな特徴は、手書きのメモをテキストに変換できること。これがあると、検索したり、コンテンツを整理したり、AIアシスタンスを利用したりするのが楽になるんだ。

今、ビジョン・ランゲージモデル（VLM）が画像理解のベストな選択肢として登場してきた。これらは、優れたパフォーマンスと、トレーニング、ファインチューニング、使用が一つの方法でできる便利さのおかげで、さまざまなタスクを得意としているんだ。ただし、手書きを認識する際、手書きの入力を画像として扱って、従来の光学文字認識（OCR）手法を使うと、VLMは苦戦することがある。

この記事では、VLMを使ったオンライン手書き認識について深堀りして、基本的なOCRの使い方を超えたアプローチを紹介するよ。手書きの入力を、時間情報付きのストロークのシーケンスと画像としての視覚表現を含む新しい方法で表現する方法を紹介する。私たちの発見によると、この新しい方法は、手書き認識のために特別に設計された主要なモデルと同じか、それ以上のパフォーマンスを発揮することがわかった。私たちのアプローチは、さまざまなVLMと異なる手書きデータセットでうまく機能することを示している。重要なのは、既存のVLMと一緒に使えるため、構造を変えずにファインチューニングや効率的なパラメータ利用が可能ってこと。

#手書き認識の必要性の高まり

デジタルツールが急速に普及してるよね。人々は、手書きのメモからタイプされたテキストへのスムーズな移行を望んでいる。この移行の成功は、手書き認識システムの効果に大きく依存してるんだ。

これまでの手書き認識手法は大きく変わってきた。古いモデルから、手書きを分割してデコードする手法から、RNNやトランスフォーマーモデルのような新しい手法へと進化している。それでも、手書き認識は依然として難しい。特に、フルページのメモや限られたトレーニングデータでの数学の表現を扱う場合は、特に挑戦的なんだ。

#なぜビジョン・ランゲージモデルを選ぶのか？

大規模言語モデル（LLM）やVLMは、多くのタスクやデータタイプで素晴らしい結果を出している。これらは、その巨大なサイズと、基盤となる言語処理能力の強さに基づいて手書き認識を向上させることができる。また、従来の複数ステップの認識手法と違って、共通のツールを使ってエンドツーエンドで単一のモデルをトレーニングできるシンプルなデザインもポイントだ。他の利点としては、手書きタスクを組み合わせることができて、機能が広がることがある。

#ビジョン・ランゲージモデルを使った認識アプローチ

VLMを手書き認識に効果的に使うためには、デジタルインクを表現する適切な方法が必要だ。シンプルな手法は、手書きの入力を画像に変換してOCRを適用することなんだけど、これは手書きの入力の時間順序を理解する専門モデルに比べて足りないんだ。

私たちは、VLMと連携するインクの表現を作ることに注力していて、専門のタスク固有モデルと同等のパフォーマンスが得られるようにしている。私たちのストロークベースの表現をVLMに使用する方法は、これまでのものとは異なる初の試みだと考えている。

デジタルインクを表現するために、画像としてまたは時間順序のポイントのシーケンスとして2つの主な方法を調査した。インクを画像に変換する最適な方法を決定し、ポイントシーケンスをVLMに適した形式に変換することで、これらの表現を組み合わせる方法を見つけた。

私たちの結果は、手書き入力をテキストとして表現することで高品質の認識が得られることを示している。他のデータ形式とは違い、手書き用の新しい表現を追加するのに既存のモデルを変更する必要がない。この能力のおかげで、ファインチューニングや効率的なパラメータチューニングを通じて、事前にトレーニングされたVLMに手書き認識機能を追加できる。これにより、元のモデルの機能を維持できる。私たちの発見は、手書き認識のためのさまざまなデータセットやモデルタイプにおいて成り立つ。

#主要な貢献

私たちの主な貢献には以下がある：

1. 手書き入力を視覚的かつ時間順序のテキスト表現を統合した方法で表現することを提案。
2. この二重表現が高度な手書き認識モデルのパフォーマンスにマッチするために重要であることを示した。この研究は、VLM内でのオンライン手書き認識のためのストロークベースの表現を評価する初のものだ。
3. モデルの構造やボキャブラリーの調整を必要とせずに、ファインチューニングや効率的なパラメータチューニングのシナリオで効果的に機能することを示した。
4. デジタルインクを画像とテキストのシーケンスの両方として表現する最良の方法を特定するために、徹底的な研究を行った。

この研究は、空間的および時間的データを組み込んだオンライン手書き認識に焦点を当てている。私たちは、ストロークを座標と時間の詳細でマークされた一連のポイントとして定義する。

私たちのモデルは、これらのストロークの入力を受け取り、対応するテキストを出力する。PaLIとPaLM-Eという2つの特定のVLMアーキテクチャを使用し、どちらもトランスフォーマーモデルのフレームワークに基づいている。それぞれが画像とテキストの表現を結びつける独自の方法を持っている。

#手書きタスクにおける表現の重要性

手書き入力をx座標とy座標、時間データを持つストロークのシーケンスとして表すことは重要だ。私たちの研究によれば、このインクの表現が認識の質に直接影響を与えることがわかった。

異なるデバイス間で均一性を提供するために、時間サンプリングに異なる戦略を持っている。サンプリング時間を調整すると、シーケンスの長さが大きく変わってしまう。ポイントの間隔が大きすぎると、重要な詳細が失われる可能性がある。

#時間サンプリングとスケール正規化

デバイス間でのサンプリング頻度を正規化するために、各ストロークで一定の間隔でポイントをサンプリングする。適切な時間のデルタを選ぶことが重要で、間隔が大きすぎると重要な書き込みの詳細が失われることがある。

再サンプリング後、すべてのポイントが定義された範囲内に収まるよう座標を標準化し、シーケンスの長さを短くする。固定時間間隔での座標の相対的な変化に焦点を当てることで、インクをより効率的に表現できる。

#離散化とトークン化

インクの各ポイントを表現するために、xとyの座標を最も近い整数値に丸める。別のストロークを区別するために独自の区切り形式も使用する。この方法により、モデルのトークン辞書に調整を加えることなく効果的な表現が可能になり、プロセスが簡素化される。

#画像表現

手書き入力を画像に変換すると、書き方のさまざまな側面を伝えることができる。シンプルな方法は、白い背景に黒でストロークを描いたり、時間情報を異なる画像チャンネルに含めたりすること。でも、手書きのサイズや形がいろいろあるから、これらの画像を標準化するためにいくつかのアプローチを考えなきゃいけない。

私たちの研究では、主要なビジョンエンコーダーとしてViT（ビジョントランスフォーマー）を使用した。画像の色チャンネルに速度情報をエンコードし、入力インクを複数のラインに整理した。

#レンダリングオプション

視覚表現のレンダリングにおいて、ストロークの方向や順番などのさまざまな要素を使える。インクからの時間情報を正規化することで、モデルが書き込み速度をよりよく認識できるようにできる。これらの速度や距離の特徴を画像に組み込むことで、書き込みプロセスに関する重要な文脈が提供されるんだ。

さらに、手書きのサンプルはアスペクト比が異なるかもしれないから、固定サイズの画像内で複数行でレンダリングすると、可読性が向上することがある。実験の結果、私たちのデータセットの観察に基づいて、2行のレンダリングが最も最適な結果を得られることが分かった。

#ターゲット表現

予測する必要がある手書きのラベルをどのように表現するかも、認識結果に影響を与えることがある。テキスト認識では、スペースで区切った文字を使うと、視覚的な要素を出力トークンに効果的にマッピングできる。数学的表現に関しては、スペースの分離を避けることで、モデルがトレーニング中に学んだ構文の知識を活かせるようになるんだ。

#トレーニングと評価の設定

トレーニングのために、PaLIとPaLM-Eという2つのモデルタイプを用意して、さまざまなステップとバッチサイズで調整した。公開データセットの混合でトレーニングを行い、効率が高まった。

評価は、パフォーマンスを測定するために標準的な文字誤り率（CER）に焦点を当てた。各方法を3回繰り返して計算した。さまざまなトレーニング済みモデルの結果を分析することで、私たちのアプローチの強みと弱みを特定できる。

#方法の比較

私たちの結果をVLMを使って、従来のOCRモデルやトランスフォーマーベースのアプローチと比較した。分析の結果、私たちのVLMはオンライン手書き認識での現行のリーディングメソッドのパフォーマンスに匹敵するか、それを超えることが分かった。

特に、いくつかのデータセットで最高の結果が私たちのVLMアプローチで達成された。でも、ベトナムの書き方のようなユニークな特徴を持つデータでは、既存の特化モデルが良いパフォーマンスを出した。

#アブレーションスタディ

私たちの手法をさらに洗練するために、一連のアブレーションスタディを実施した。これは、ストロークの表現が手書き認識に与える影響を特定するために、PaLIのパフォーマンスをさまざまなシナリオで分析することを含んでいる。

#マルチモーダル入力テスト

シーケンスと画像表現を組み合わせる実験を行った結果、これらの入力を組み合わせることで全体的なパフォーマンスが向上した。特に、インクのテキスト表現がモデルによる処理で同時に処理できるものを超えるときに有益だった。

インクのだけの使用や画像のだけの使用ではパフォーマンスが著しく低下することが分かり、これらの形式の補完的な性質が浮き彫りになった。

#トークン化の選択

トークン化のさまざまな方法が認識にどのように影響するかも調べた。私たちの発見は、テキスト表現を使用するか、別々のトークンを使うことが、ボキャブラリーを拡張するのと同じように、総インクシーケンスがモデルにとって扱いやすい限り、似たような結果を得られることを示している。

#レンダリング手法

画像のための色レンダリングオプションを調べ、各手法が認識品質にどのように影響するかを評価した。その結果、時間や距離情報を色チャンネルにレンダリングすることで、シンプルな黒白アプローチよりも良い結果が得られることが分かった。

#広い文脈と関連研究

オンライン手書き認識の歴史は、技術の進歩の道のりを描いている。初期の手法は幾何学的特徴に依存していたが、最近のシステムはディープラーニングを使って、生の描画パターンを認識するようになった。この分野では、入力と目標テキストの整合性を保つことが長年の課題だった。

大規模言語モデルの最近の進展は、さまざまなアプリケーションでの有用性を高めるために、画像やテキストなど異なるデータタイプを統合する可能性を示している。PaLIやPaLM-Eのようなモデルは、視覚的要素と文言要素を効果的に統合する上での重要な進展を示している。

#結論

この研究は、VLMを使用した手書き認識において有望な方向性を強調している。私たちの二重表現アプローチは、さまざまなデータセットにおいて高品質の結果を促進し、既存のモデルに手書き機能を効率的に追加できるようにする。

私たちの努力を通じて、インクのシーケンスと画像を組み合わせることで、特にテキスト表現がコンテキストの長さによって制限されるシナリオで、より良い認識パフォーマンスを得られることを示した。既存のVLMの機能を大幅に再設計せずに向上させる能力は、将来の改善のための大きな可能性がある。システムの洗練を続ける中で、教育や生産性、クリエイティブな分野での実用的な応用の可能性がますます具体的になってきているね。