Kuaiji: Um Modelo de Linguagem de Contabilidade Especializado

Modelos de Linguagem Grande (LLMs) como o ChatGPT e o GPT-4 têm mostrado habilidades fortes em lidar com linguagem natural. Mas eles se enrolam quando o assunto é áreas específicas, tipo contabilidade. Pra resolver isso, apresentamos o Kuaiji, um modelo de linguagem grande especializado em contabilidade. O Kuaiji foi ajustado usando um método chamado Baichuan, que envolve treinamento contínuo e melhorias guiadas. Ele foi construido a partir de um conjunto de dados feito de conversas reais entre contadores e seus clientes, permitindo que o Kuaiji seja rápido e preciso. Nosso trabalho inclui a criação do primeiro conjunto de dados para contabilidade chinesa e a consolidação do Kuaiji como uma ferramenta de código aberto importante nessa área, provando sua eficácia através de exemplos do mundo real.

#A Necessidade de Modelos Especializados

Os LLMs avançaram bastante em muitas áreas. Eles aprendem com uma quantidade enorme de texto e mostram um desempenho incrível em várias tarefas. Mas os LLMs enfrentam desafios, especialmente quando precisam trabalhar com tarefas e campos específicos. Erros factuais acontecem com frequência, e eles podem ter dificuldades com perguntas especializadas. Esses problemas são bem preocupantes em áreas como medicina, direito e finanças, onde a precisão é crucial. A gente percebe uma falta de LLMs feitos especificamente pra contadores. Embora empresas conhecidas estejam trabalhando nisso, a maioria dos modelos ainda é de código fechado, limitando o acesso a ferramentas contábeis especializadas.

Na contabilidade, as pessoas usam informações pra gerenciar suas finanças e tomar decisões. Investidores e gerentes confiam nesses dados pra acompanhar o desempenho de uma empresa e avaliar seu valor. Mas, as regras contábeis mudam e registros confusos podem dificultar a compreensão de como essas informações se relacionam com os preços das ações. Também tem uma discrepância entre o que é ensinado nas escolas e as aplicações no mundo real, que precisa ser resolvida.

#Nossa Abordagem: Kuaiji

Este artigo tem como objetivo resolver os desafios acima ajustando o Kuaiji, um modelo de linguagem grande especializado em contabilidade. O Kuaiji passa por duas etapas principais: pré-treinamento contínuo e ajuste supervisionado. Durante a fase de pré-treinamento, o Kuaiji aprende com um conjunto de dados amplo relacionado à contabilidade. Para o processo de ajuste, coletamos cerca de 70.000 pares de perguntas e respostas de conversas reais entre contadores e clientes. Após três etapas de construção do modelo, incluindo treinamento contínuo e feedback de especialistas, o Kuaiji obteve ótimos resultados, superando outros modelos semelhantes em testes com o GPT-4 e especialistas humanos.

#Contribuições

1. Criamos o primeiro conjunto de dados chinês para contabilidade, incluindo 15.677 casos reais de 14 áreas contábeis diferentes.
2. O Kuaiji é o principal modelo chinês de código aberto, projetado especificamente para tarefas contábeis, servindo como uma fonte valiosa de conhecimento.
3. Validamos o Kuaiji através de exemplos reais de contabilidade, demonstrando suas vantagens segundo profissionais da área.

#Trabalhos Relacionados

#Modelos de Linguagem Grande

Os recentes desenvolvimentos em Modelos de Linguagem Grande, representados por modelos como ChatGPT e GPT-4, tiveram um grande impacto na pesquisa em inteligência artificial. Esses modelos mudaram a forma como entendemos e geramos linguagem natural e levaram a avanços em várias aplicações. Embora alguns métodos de treinamento continuem sendo proprietários, alternativas de código aberto como Baichuan, LLaMA, Bloom e Falcon tornaram capacidades linguísticas avançadas mais amplamente disponíveis.

Os LLMs generativos mostram habilidades notáveis em produzir texto coerente e relevante. Eles aprendem com quantidades imensas de dados, tornando-se habilidosos em responder a solicitações dos usuários.

#Ajuste fino

O ajuste fino é uma maneira de adicionar conhecimento específico aos LLMs. Ao treinar esses modelos em Conjuntos de dados de alta qualidade, eles podem melhorar seu desempenho em certos tópicos. Por exemplo, o HuatuoGPT combina conhecimento médico com dados do mundo real para se sair melhor que o ChatGPT em tarefas médicas. Da mesma forma, modelos como ChatDoctor e KALA também usam várias fontes de dados especializadas pra aprimorar sua funcionalidade. No entanto, obter dados de alta qualidade pode ser complicado, impactando o desempenho desses modelos. Além disso, o ajuste fino frequentemente requer recursos computacionais significativos.

#Construção do Conjunto de Dados

Construímos dois conjuntos de dados importantes para treinar o Kuaiji. Um é para treinamento contínuo e o outro para ajuste supervisionado. O conjunto de dados para treinamento contínuo inclui materiais de fontes acadêmicas e outras informações confiáveis relacionadas à contabilidade, garantindo padrões profissionais.

Para o conjunto de dados de ajuste, reorganizamos dados existentes e usamos LLMs robustos pra ajudar a criar vários exemplos. Esse conjunto de dados consiste em 35.784 entradas focadas em tarefas contábeis, seguindo diretrizes estabelecidas por contadores públicos certificados.

#Conjunto de Dados de Pré-Treinamento Contínuo

Construir um conjunto de dados para contabilidade requer fontes de materiais de qualidade. Priorizamos livros didáticos acadêmicos e artigos relacionados à contabilidade, auditoria, leis tributárias e áreas similares. Também coletamos informações de várias fontes confiáveis, como relatórios financeiros, cobertura da mídia e dados estatísticos, pra criar um conjunto de dados rico e relevante.

Buscamos diversidade nas nossas fontes de dados, garantindo relevância e qualidade em tempo real. Um processo rigoroso de limpeza foi implementado pra manter a integridade do conjunto de dados, que incluiu correção de erros e proteção de privacidade. Especialistas de várias áreas financeiras forneceram validação.

Os dados coletados foram divididos em domínios especializados e relacionados, misturando-os de forma a aumentar a eficácia do conjunto de dados para treinamento.

#Conjunto de Dados de Ajuste Supervisionado

O ajuste fino é essencial pra adaptar o modelo a tarefas específicas. Coletamos exercícios práticos e questões de exame pra construir esse conjunto de dados. Devido a limitações na quantidade de perguntas disponíveis, desenvolvemos um prompt pra ajudar a gerar mais dados usando LLMs robustos.

Nosso conjunto de dados inicial incluía várias perguntas práticas de fontes respeitáveis. Focamos em perguntas claras e bem definidas, garantindo qualidade e relevância.

Usando o conjunto de dados gerado, buscamos refinar ainda mais nosso modelo, incorporando instruções específicas do domínio junto com conhecimentos mais gerais. Treinando de forma equilibrada, pretendemos melhorar a robustez do modelo sem perder suas capacidades inerentes.

#Estratégia de Treinamento

Pra treinar o Kuaiji, usamos QLoRA pra resolver problemas de memória e desempenho que surgem durante as fases contínua e de ajuste. Esse método reduz efetivamente o uso de memória enquanto mantém a precisão, permitindo trabalhar com modelos maiores em hardware limitado.

O modelo foi construído sobre uma estrutura estabelecida, utilizando dados de alta qualidade e vários ajustes pra melhorar o desempenho. Ajustamos configurações de taxas de aprendizado, gerenciamento de gradiente e comprimentos de token pra garantir um treinamento suave.

#Análise Empírica

#Detalhes do Treinamento

O Kuaiji é baseado em um LLM chinês especializado com cerca de 13 bilhões de parâmetros, projetado para tarefas de conversa. O treinamento utilizou várias GPUs poderosas e incorporou estratégias de otimização avançadas pra maximizar o uso de recursos.

O treinamento envolveu várias técnicas, incluindo otimização de taxas de aprendizado e gerenciamento de comprimentos de entrada pra melhorar a eficiência. Diferentes LLMs foram usados pra comparação e avaliar a eficácia do Kuaiji.

#Estudo de Caso

Pra ilustrar as capacidades do Kuaiji, comparamos seu desempenho com outros LLMs através de vários estudos de caso.

#Estudo de Caso 1: Ligação de Demonstrações Contábeis

Examinamos como a demonstração de resultados, o balanço patrimonial e a demonstração de fluxo de caixa estão interligados na contabilidade. O Kuaiji forneceu uma explicação detalhada de como esses documentos interagem, destacando sua importância na avaliação da saúde financeira de uma empresa.

#Estudo de Caso 2: Impacto da Nova Depreciação

Testamos como a adição de depreciação afetaria as demonstrações financeiras. O Kuaiji descreveu com precisão as mudanças em todas as três demonstrações, enfatizando seu entendimento dos princípios contábeis.

#Estudo de Caso 3: Demonstrações Financeiras Chaves

Neste estudo, analisamos quais duas demonstrações financeiras seriam essenciais para a avaliação da empresa. O Kuaiji ofereceu insights valiosos sobre suas escolhas, demonstrando sua capacidade de raciocinar sobre conceitos contábeis complexos.

#Cenários de Aplicação

O Kuaiji pode ser usado em várias áreas relacionadas à contabilidade:

1. Análise e Relatórios Financeiros: O Kuaiji ajuda a analisar demonstrações financeiras, fornecendo insights claros sobre o desempenho da empresa.
2. Consultoria Tributária: O modelo oferece orientação sobre leis tributárias, garantindo que as empresas atendam a regulamentações enquanto otimizam suas estratégias.
3. Gestão de Risco: As empresas podem usar o Kuaiji pra identificar e gerenciar riscos financeiros de forma eficaz.
4. Apoio à Decisão Gerencial: O Kuaiji ajuda na análise de dados pra tomada de decisões informadas e planejamento estratégico.
5. Auditoria e Conformidade: O modelo ajuda a revisar processos pra aderência a regulamentações e padrões.
6. Educação e Treinamento: O Kuaiji serve como um recurso pra alunos e educadores entenderem práticas contábeis.
7. Previsão de Mercado e Investimentos: Ele analisa tendências de mercado pra ajudar investidores a tomarem decisões informadas.
8. Planejamento e Consultoria Financeira: O Kuaiji fornece conselhos personalizados com base em necessidades e metas financeiras individuais.

O Kuaiji também foi projetado pra apoiar diálogos de múltiplas interações e retenção de memória, melhorando a interação com o usuário.

#Conclusão e Trabalho Futuro

Em resumo, enquanto modelos como ChatGPT e GPT-4 realizaram muito em processamento de linguagem natural, a aplicação deles em campos especializados como contabilidade apresenta desafios. O Kuaiji oferece uma solução com seu treinamento focado e desempenho comprovado em situações do mundo real.

Olhando pra frente, planejamos incorporar feedback de interações humanas pra refinar ainda mais o modelo. Também haverá esforços pra expandir o conjunto de dados pra melhorar a funcionalidade e aplicações mais amplas na área contábil.