Melhorando a QA em Telecomunicações com QMOS

Modelos de Linguagem Grandes (LLMs) mudaram a forma como lidamos com sistemas de Perguntas e Respostas (QA). Esses modelos mandam bem em responder perguntas difíceis em várias áreas. Mas, quando o assunto é telecomunicações, surgem desafios extras. Os termos usados em telecom podem ser técnicos e confusos, e achar respostas precisas pode ser complicado.

Estudos recentes mostraram que LLMs, como o GPT-3.5, conseguem se sair bem com perguntas relacionadas a telecom, alcançando uma alta precisão. Porém, a necessidade de computadores potentes para rodar esses modelos pode dificultar o uso em situações do dia a dia. Este artigo fala sobre um novo método chamado QMOS, que busca melhorar o desempenho dos LLMs na hora de responder perguntas de múltipla escolha em telecom. A gente foca em usar modelos menores e abertos, como Phi-2 e Falcon-7B, e os combina com uma estrutura especial para tornar nossa abordagem mais eficaz.

#Desafios em QA de Telecomunicações

Os padrões de telecomunicações podem ser complicados. Muitas vezes, eles incluem siglas e termos especiais que podem confundir os LLMs. Esses modelos podem ter dificuldades com perguntas de múltipla escolha (MCQs), já que às vezes eles se focam demais em onde a resposta está, em vez do conteúdo em si. Além disso, com as coisas mudando rápido na tecnologia, os LLMs frequentemente precisam de atualizações constantes para se manterem relevantes.

#Nossa Abordagem: QMOS

Nossa pesquisa usa o método QMOS. Ele combina várias técnicas para ajudar a melhorar modelos de linguagem pequenos em responder perguntas sobre telecomunicações. As principais ideias por trás do QMOS incluem:

1. Usando Diferentes Modelos de Embedding: Ao usar vários modelos de embedding, conseguimos coletar mais informações dos documentos que recuperamos. Isso ajuda a capturar as informações certas para as perguntas que queremos responder.

2. Aprimorando Dicionários de Abreviações: Como telecomunicações usam muitas abreviações, ampliamos nosso dicionário desses termos para garantir que capturamos o máximo possível. Isso aumentou nossa taxa de sucesso significativamente.

3. Design de Prompt: A gente elabora com cuidado os prompts que orientam o modelo sobre como raciocinar com os documentos fornecidos. Isso ajuda o modelo a encontrar as respostas corretas de forma mais confiável.

4. Ajuste fino com uma Função de Perda Focada: A gente ajusta um dos nossos modelos, Phi-2, usando uma função de perda específica que foca apenas na parte da resposta de uma pergunta. Isso ajuda o modelo a aprender melhor.

5. Técnica de Batch-Shuffle: Implementamos um método que muda a ordem das opções de resposta nas MCQs. Isso ajuda a reduzir um viés comum onde o modelo prefere certas posições de resposta, levando a resultados mais precisos.

#Importância de Modelos Pequenos

Modelos pequenos como Phi-2 e Falcon-7B podem ser boas alternativas para modelos maiores. Eles costumam usar menos recursos, rodam mais rápido e são mais fáceis de ajustar para tarefas específicas. Nas nossas pesquisas, descobrimos que apesar do Phi-2 ser menor que modelos como o GPT-3.5, ele ainda consegue resultados impressionantes quando combinado com as técnicas certas.

#Geração Aumentada por Recuperação

Geração Aumentada por Recuperação, ou RAG, é uma técnica que ajuda a melhorar como os modelos respondem perguntas trazendo informações externas. Em vez de depender apenas do que o modelo sabe, o RAG permite que o modelo acesse textos úteis que dão contexto para a questão.

#Divisão e Fragmentação de Documentos

No RAG, a gente precisa encontrar as partes relevantes de documentos grandes. Para isso, quebramos os documentos em seções menores. Cada seção é então dividida em partes de um certo tamanho, garantindo que cada parte contenha informações significativas. Evitamos incluir seções menos informativas, como sumários. Assim, criamos partes que são mais fáceis para o modelo processar.

#Criando Embeddings

Para ajudar na correspondência das perguntas com as partes certas, criamos embeddings, que são representações numéricas do texto. Usamos modelos que se saem bem para criar esses embeddings, facilitando a comparação durante o processo de recuperação.

#Recuperação de Fragmentos

Para recuperar partes, usamos um método chamado k-Vizinhos Mais Próximos, que procura as partes mais semelhantes à pergunta que temos. Isso nos ajuda a puxar informações relevantes de diferentes documentos para criar um contexto melhor para o modelo.

#Elaborando Prompts Eficazes

Como a gente projeta os prompts é importante para o desempenho dos modelos. Repetindo as perguntas e incluindo contexto relevante, conseguimos guiar os modelos a produzir respostas mais precisas.

Na hora de elaborar nossos prompts, a gente também foca no uso de abreviações. Incluindo essas abreviações nos nossos prompts, podemos ajudar o modelo a entender e responder melhor perguntas relacionadas aos padrões de telecomunicações.

#Ajustando os Modelos

Para ajustar nossos modelos, usamos uma técnica chamada Adaptação de Baixa Classificação (LoRA). Esse método nos permite ajustar o modelo sem precisar mudar tudo sobre ele. É uma forma eficiente em termos de recursos para ajudar o modelo a aprender melhor na área de telecomunicações.

Nas nossas experiências, testamos diferentes formas de ajustar o modelo e percebemos que focar apenas nas respostas durante o treinamento levou a um desempenho melhor.

#Lidando com Perguntas de Múltipla Escolha

Um dos desafios de usar LLMs para MCQs é que eles geralmente favorecem certas posições de resposta devido ao viés. Para combater isso, introduzimos nossa técnica de batch-shuffle. Esse método envolve gerar múltiplos prompts para cada pergunta, com cada prompt apresentando opções em uma ordem diferente. Assim, conseguimos reunir uma seleção mais confiável de respostas do modelo.

Com isso, percebemos um aumento significativo na precisão e eficiência durante a inferência.

#Avaliação de Nossos Métodos

Testamos nossa abordagem usando um subconjunto de perguntas relacionadas a telecomunicações. Os resultados mostraram que nossos modelos conseguiram superar significativamente suas pontuações de precisão iniciais após implementar a estrutura QMOS.

Para o modelo Phi-2, começamos com uma precisão de cerca de 42,07%, mas com RAG e ajuste fino, conseguimos aumentar isso para 76,90%. E, aplicando ainda mais nossa técnica de batch-shuffle, a precisão subiu para impressionantes 81,65%.

Para o modelo Falcon-7B, começamos com 24,51% de precisão. Usando RAG para reunir contexto e removendo opções no prompt, conseguimos elevar isso para 49,93%. Isso mostra que, mesmo sendo maior, o modelo Falcon-7B pode ter seu desempenho aumentado consideravelmente sem precisar de ajustes extensivos.

#Conclusão

Resumindo, nosso estudo mostra como modelos pequenos podem ser eficazes e eficientes para tarefas de QA relacionadas a telecomunicações. Usando nosso método QMOS, que incorpora técnicas diferentes como RAG, engenharia de prompts e maneiras inovadoras de lidar com MCQs, mostramos que modelos menores podem competir com modelos maiores enquanto exigem menos recursos computacionais.

No futuro, queremos ajustar ainda mais os modelos de embedding para telecomunicações e testar nossa estrutura QMOS em outros conjuntos de dados e modelos. Nossa abordagem pode levar a novas formas de criar sistemas de QA eficazes que possam operar de forma ampla e eficiente no cenário em constante mudança das telecomunicações.