Avanços no Reconhecimento de Caligrafia com Modelos de Visão-Linguagem

O uso de tablets com telas sensíveis ao toque e canetas stylus tá ficando cada vez mais comum. Uma característica importante dessa tecnologia é a capacidade de transformar anotações feitas à mão em texto. Essa função ajuda em atividades como pesquisar, organizar conteúdo e permitir assistência de IA.

Hoje em dia, Modelos de visão-linguagem (VLMs) surgiram como a escolha preferida para entender imagens. Eles se destacam em várias tarefas, graças ao seu bom desempenho e à conveniência de ter um único método para treinar, ajustar e usar. No entanto, quando se trata de reconhecer caligrafia, os VLMs têm dificuldades se apenas tratarmos a entrada manuscrita como imagens e usarmos métodos tradicionais de reconhecimento óptico de caracteres (OCR).

Esse texto explora o reconhecimento de caligrafia online usando VLMs e vai além do uso básico de OCR. Nós introduzimos uma nova forma de representar a entrada manuscrita que inclui tanto uma sequência de traços com informações de tempo quanto uma representação visual como uma imagem. Nossas descobertas mostram que esse novo método tem um desempenho tão bom quanto ou até melhor do que os principais modelos especificamente projetados para reconhecimento de caligrafia. Demonstramos que nossa abordagem funciona bem com vários VLMs e em diferentes conjuntos de dados de caligrafia. Importante, pode ser usada com VLMs existentes sem mudanças estruturais, tornando-a adaptável para ajustes ou uso eficiente de parâmetros.

#A Necessidade Crescente de Reconhecimento de Caligrafia

Ferramentas digitais para escrita estão crescendo rapidamente. As pessoas querem uma transição suave de anotações à mão para texto digitado. O sucesso dessa transição depende muito da eficácia dos sistemas de reconhecimento de caligrafia.

Ao longo dos anos, os métodos de reconhecimento de caligrafia mudaram bastante. As técnicas passaram de modelos mais antigos que segmentavam e decodificavam a caligrafia para métodos mais novos como RNNs e modelos Transformer. Apesar dos avanços, reconhecer caligrafia continua sendo um desafio, especialmente em cenários complexos como anotações de página inteira ou expressões matemáticas com dados de treinamento limitados.

#Por Que Escolher Modelos de Visão-Linguagem?

Grandes modelos de linguagem (LLMs) e VLMs mostraram resultados excepcionais em várias tarefas e tipos de dados. Eles podem melhorar o reconhecimento de caligrafia baseado em seu tamanho enorme e na força de suas capacidades de processamento de linguagem subjacentes. Além disso, seu design simples permite treinar um único modelo de ponta a ponta usando ferramentas comuns, ao contrário dos métodos tradicionais de reconhecimento em várias etapas. Outra vantagem é a capacidade de combinar diferentes tarefas de caligrafia, o que amplia sua funcionalidade.

#Abordando o Reconhecimento com Modelos de Visão-Linguagem

Para usar VLMs de forma eficaz no reconhecimento de caligrafia, precisamos de uma forma adequada de representar a Tinta Digital. Um método simples seria converter a entrada manuscrita em uma imagem e aplicar OCR. No entanto, essa abordagem fica aquém em comparação com modelos especializados que entendem a natureza sequencial da entrada manuscrita.

Nosso foco é criar uma representação de tinta compatível com VLMs que tenha um desempenho similar a modelos específicos de tarefas avançadas. Acreditamos que nosso método de usar representações baseadas em traços com VLMs para reconhecimento de caligrafia é o primeiro do tipo.

Investigamos duas maneiras principais de representar a tinta digital: como imagens e como sequências de pontos em ordem cronológica. Ao determinar o melhor método para renderizar a tinta em uma imagem e converter as sequências de pontos em um formato adequado para VLMs, encontramos maneiras de combinar essas representações para resultados ótimos.

Nossos resultados indicam que podemos obter reconhecimento de alta qualidade ao representar a entrada manuscrita como texto. Ao contrário de outras formas de dados, adicionar uma nova representação para caligrafia não requer mudanças nos modelos existentes. Essa capacidade nos permite adicionar habilidades de reconhecimento de caligrafia a VLMs pré-treinados através de ajustes ou ajustes eficientes de parâmetros, o que ajuda a manter as funções originais do modelo. Nossas descobertas se mantêm em vários tipos de modelos e conjuntos de dados diferentes para reconhecimento de caligrafia.

#Principais Contribuições

Nossas principais contribuições incluem:

1. Apresentamos uma forma de representar a entrada manuscrita que integra representações visuais e textuais em ordem cronológica, tornando-a adequada para VLMs.
2. Demonstramos que essa representação dupla é crucial para igualar o desempenho de modelos avançados de reconhecimento de caligrafia. Até onde sabemos, essa pesquisa é a primeira a avaliar representações baseadas em traços para reconhecimento de caligrafia online dentro de VLMs.
3. Mostramos que nossa representação funciona efetivamente em cenários de ajustes ou ajustes eficientes de parâmetros sem precisar de alterações na estrutura do modelo ou no vocabulário.
4. Realizamos estudos completos para identificar as melhores maneiras de representar a tinta digital tanto como imagens quanto como sequências textuais.

Esse estudo enfatiza o reconhecimento de caligrafia online, que incorpora dados espaciais e temporais. Definimos um traço como uma série de pontos marcados por coordenadas e detalhes de tempo.

Nosso modelo recebe a entrada desses traços e produz o texto correspondente. Utilizamos duas arquiteturas VLM específicas: PaLI e PaLM-E, que são baseadas na estrutura do modelo transformer. Cada uma tem métodos distintos para conectar representações de imagem e texto.

#A Importância da Representação em Tarefas de Caligrafia

Representar a entrada manuscrita como sequências de traços com coordenadas x e y e dados de tempo é crucial. Nossa pesquisa indica que a forma como representamos essa tinta influencia diretamente a qualidade do reconhecimento.

Temos diferentes estratégias para amostragem de tempo que ajudam a proporcionar uniformidade entre vários dispositivos. Ajustar o tempo de amostragem pode alterar significativamente o comprimento da sequência. Se os intervalos entre os pontos forem muito grandes, detalhes importantes podem se perder.

#Amostragem de Tempo e Normalização de Escala

Para normalizar a frequência de amostragem entre dispositivos, amostramos pontos em intervalos consistentes para cada traço. Escolher um delta de tempo apropriado é essencial, já que intervalos maiores podem causar a perda de detalhes críticos da escrita.

Após a reamostragem, padronizamos as coordenadas para que todos os pontos se encaixem em um intervalo definido, o que reduz o comprimento da sequência. Ao focar em mudanças relativas nas coordenadas em intervalos de tempo fixos, podemos representar a tinta de forma mais eficiente.

#Discretização e Tokenização

Para representar cada ponto da tinta, arredondamos as coordenadas x e y para o valor inteiro mais próximo. Também usamos um formato único de separação para distinguir entre traços separados. Esse método permite uma representação eficaz sem precisar de ajustes no dicionário de tokens do modelo, simplificando o processo.

#Representação de Imagem

Transformar a entrada manuscrita em imagens ajuda a transmitir diferentes aspectos da escrita. Uma maneira simples é renderizar os traços em preto sobre um fundo branco ou incluir informações de tempo dentro de diferentes canais de imagem. No entanto, dada a variação em tamanho e forma da caligrafia, precisamos considerar várias abordagens para padronizar essas imagens.

Para nossos estudos, usamos ViT (Vision Transformer) como nosso principal codificador de visão. Codificamos informações de velocidade nos canais de cor da imagem e organizamos a tinta de entrada em várias linhas.

#Opções de Renderização

Podemos usar diferentes aspectos na renderização da representação visual, como a direção e a ordem dos traços. Ao normalizar as informações de tempo da tinta, podemos melhorar como o modelo percebe a velocidade de escrita. Incorporar essas características de velocidade e distância nas imagens proporciona ao sistema um contexto crucial sobre o processo de escrita.

Além disso, como amostras manuscritas podem variar em proporção, renderizá-las em várias linhas dentro de uma imagem de tamanho fixo pode levar a uma melhor legibilidade. Nossos experimentos determinaram que uma renderização em duas linhas fornece resultados ótimos com base nas observações de nosso conjunto de dados.

#Representação de Alvo

A forma como representamos o rótulo para a caligrafia que precisa ser prevista também pode afetar os resultados do reconhecimento. Para reconhecimento de texto, usar letras separadas por espaços ajuda a mapear componentes visuais de forma eficaz para os tokens de saída. Para expressões matemáticas, evitar a separação por espaços ajuda o modelo a se beneficiar do conhecimento sintático adquirido durante o treinamento.

#Configuração de Treinamento e Avaliação

Preparamos dois tipos de modelos para treinamento, PaLI e PaLM-E, ajustando-os para diferentes etapas e tamanhos de lote. Eles foram treinados com uma mistura de conjuntos de dados públicos, o que ajudou a aumentar sua eficiência.

A avaliação focou na taxa de erro de caracteres (CER) padrão para medir o desempenho. Calculamos isso em três execuções para cada método testado. Ao analisar os resultados de uma variedade de modelos treinados, conseguimos identificar os pontos fortes e fracos de nossa abordagem.

#Comparando Métodos

Comparamos nossos resultados usando VLMs com modelos tradicionais de OCR e uma abordagem baseada em transformers. A análise revelou que nossos VLMs corresponderam ou superaram o desempenho dos métodos líderes atuais em reconhecimento online de caligrafia.

Em particular, os melhores resultados em vários conjuntos de dados foram alcançados com nossa abordagem VLM. No entanto, para alguns casos específicos onde os dados tinham características únicas-como a escrita vietnamita-os modelos existentes projetados para isso tiveram um desempenho melhor.

#Estudos de Ablação

Para refinar ainda mais nossos métodos, realizamos uma série de estudos de ablação. Isso envolveu analisar o desempenho do PaLI em diferentes cenários para identificar quais fatores na representação tiveram o maior efeito no reconhecimento de caligrafia.

#Testes de Entrada Multimodal

Ao experimentar com representações de sequência e imagem, descobrimos que combinar essas entradas melhorou o desempenho geral. Isso foi especialmente benéfico quando a representação textual da tinta excedia o que poderia ser processado de uma vez pelo modelo.

Ao usar apenas a representação da tinta ou apenas a representação da imagem, o desempenho foi notavelmente inferior, destacando a natureza complementar desses formatos.

#Escolhas de Tokenização

Também examinamos vários métodos de tokenização para ver como eles influenciavam o reconhecimento. Nossas descobertas indicaram que usar uma representação textual ou tokens separados gerou resultados semelhantes a expandir o vocabulário, desde que a sequência total de tinta permanecesse gerenciável para o modelo.

#Métodos de Renderização

Ao estudar diferentes opções de renderização de cores para imagens, avaliamos como cada método impactava a qualidade do reconhecimento. Percebemos que renderizar com informações de tempo e distância nos canais de cor levou a resultados melhores do que apenas usar uma abordagem simples de preto sobre branco.

#Contexto Mais Amplo e Trabalhos Relacionados

A história do reconhecimento online de caligrafia pinta um quadro de desenvolvimento contínuo na tecnologia. Métodos antigos confiavam em características geométricas, enquanto sistemas mais novos aproveitam o deep learning para reconhecer padrões em desenhos brutos. Abordar o alinhamento da entrada e do texto alvo tem sido um desafio nessa área.

Avanços recentes em grandes modelos de linguagem mostram um grande potencial para combinar diferentes tipos de dados, como imagens e texto, para aumentar sua utilidade em várias aplicações. Modelos como PaLI e PaLM-E ilustram um progresso significativo na integração eficaz de componentes visuais e de linguagem.

#Conclusão

Essa pesquisa destaca uma direção promissora para reconhecimento de caligrafia usando VLMs. Nossa abordagem de representação dupla facilita resultados de alta qualidade em vários conjuntos de dados, permitindo a adição eficiente de capacidades de caligrafia a modelos existentes.

Através de nossos esforços, mostramos como combinar sequências de tinta e imagens pode levar a um melhor desempenho de reconhecimento, especialmente em cenários onde a representação de texto pode ser limitada pelo comprimento do contexto. A adaptabilidade do nosso método abre caminhos para mais explorações em diferentes tarefas de caligrafia dentro de grandes modelos de linguagem.

A capacidade de aprimorar a funcionalidade de VLMs existentes sem a necessidade de um redesenho substancial mostra um grande potencial para melhorias futuras. À medida que continuamos a refinar esses sistemas, o potencial para aplicações práticas em educação, produtividade e áreas criativas se torna cada vez mais tangível.