Melhorando a Detecção de Doenças em Plantas com Ontologia e MLLMs

Recentemente, tem havido um baita interesse em Modelos de Linguagem Grande Multimodal (MLLMs). Esses modelos são especiais porque conseguem trabalhar com diferentes tipos de informação ao mesmo tempo, tipo imagens e palavras. Essa habilidade permite que eles façam tarefas como descrever imagens ou responder perguntas sobre o que tá mostrado em uma foto. Mas, mesmo sendo úteis, os MLLMs ainda têm dificuldades com algumas tarefas, principalmente quando se trata de entender detalhes de um assunto específico, tipo doenças de plantas.

Uma ideia chave é que podemos melhorar os MLLMs adicionando conhecimento específico sobre a área em que tão trabalhando. Uma maneira de fazer isso é usando algo chamado ontologia. Uma ontologia ajuda a organizar o conhecimento de um jeito estruturado, pra guiar o MLLM a entender o que tá vendo com mais precisão.

No nosso trabalho, testamos essa ideia criando um sistema que combina ontologia com MLLMs pra identificar doenças de plantas a partir de imagens. Usamos conhecimento já existente sobre doenças de plantas e ligamos isso ao MLLM pra torná-lo mais eficaz. O objetivo era ver se essa combinação ajudava o MLLM a identificar doenças específicas com mais confiança.

#Como o Sistema Funciona

O primeiro passo na nossa abordagem é coletar informações da ontologia que descreve doenças de plantas. A ontologia tem conhecimento detalhado sobre diferentes tipos de doenças de plantas, incluindo Sintomas, cores e Formas. Essa informação ajuda a criar prompts melhores que podem ser alimentados ao MLLM.

Uma vez que extraímos conceitos relevantes da ontologia, usamos esses conceitos pra criar os prompts. O MLLM recebe esses prompts junto com imagens de folhas de plantas que podem estar doentes. O MLLM então analisa as imagens e retorna observações em um formato específico.

O próximo passo é transformar as observações em um formato que a ontologia consiga entender. Usamos essa entrada pra consultar a ontologia e determinar a doença específica baseada nos sintomas, cores e formas identificadas.

Ao incorporar as habilidades de raciocínio da ontologia, o sistema consegue fornecer explicações para suas decisões de classificação. Isso significa que os usuários podem entender por que uma certa doença foi identificada, o que aumenta a confiança no sistema.

#Vantagens de Usar Ontologia com MLLMs

Integrar ontologia com MLLMs traz várias vantagens:

1. Precisão Melhorada: Ao fornecer conhecimento específico sobre doenças, o MLLM consegue fazer previsões melhores. Isso é especialmente verdadeiro para classificações que envolvem diferenças sutis entre sintomas.

2. Maior Explicabilidade: As capacidades de raciocínio da ontologia adicionam um nível de compreensão. Os usuários conseguem ver quais fatores contribuíram para uma decisão de classificação, ajudando a confiar mais no sistema.

3. Avaliação de Desempenho: A ontologia pode servir como um benchmark pra avaliar como bem o MLLM tá indo. Comparando os conceitos identificados com os na ontologia, conseguimos entender melhor onde o MLLM brilha ou precisa melhorar.

4. Eficiência na Seleção: Com tantos MLLMs disponíveis, escolher o certo pra uma tarefa específica pode ser complicado. Usar ontologia pode facilitar essa seleção fornecendo uma métrica clara de avaliação.

#Testando Nossa Abordagem

Pra validar nossa estrutura, fizemos experimentos usando um conjunto de dados de doenças do arroz. Escolhemos imagens que representam quatro doenças diferentes, garantindo uma coleção diversificada. Cada um dos MLLMs foi testado pra ver como bem eles podiam identificar sintomas, cores e formas relacionadas a cada doença.

Descobrimos que o desempenho variou entre os diferentes MLLMs. Alguns modelos se saíram melhor na identificação de sintomas específicos, enquanto outros brilharam em reconhecer cores ou formas. Avaliando suas saídas em relação aos conceitos definidos na ontologia, conseguimos obter insights valiosos sobre suas forças e fraquezas.

Por exemplo, um modelo foi melhor em identificar sintomas como manchas, enquanto outro teve dificuldade com sintomas parecidos. Essas descobertas destacam a importância de refinar as capacidades do MLLM e a necessidade de melhorar a conexão entre como os MLLMs e a ontologia entendem os conceitos.

#Usando a Ontologia pra Guiar Resultados

Uma parte importante do nosso trabalho foi testar quão bem o MLLM conseguia seguir instruções quando não havia sintomas presentes. Usamos um conjunto de imagens que continham folhas saudáveis, que não deveriam mostrar sinais de doença. O MLLM foi instruído a relatar "nenhuma anomalia" quando observasse folhas saudáveis.

Os resultados foram encorajadores. A maioria dos modelos testados identificou com sucesso que não havia problemas com as folhas saudáveis. O Gemini-Pro-Vision, inclusive, mostrou precisão perfeita nessa tarefa. No entanto, alguns modelos tendiam a prever sintomas quando não havia nenhum, o que precisa de mais atenção.

#Explicando Classificações

Em outra parte dos nossos experimentos, queríamos mostrar como incorporar o raciocínio da ontologia pode tornar o processo de classificação mais compreensível. Pra isso, usamos o modelo Gemini-Pro-Vision e o direcionamos de duas formas. Na primeira vez, incluímos conhecimento ontológico relevante no prompt, enquanto na segunda, usamos um prompt padrão sem contexto adicional.

Os resultados dos nossos testes mostraram uma clara vantagem pela primeira abordagem. Quando guiado pela ontologia, o Gemini-Pro-Vision identificou com precisão a doença como "Mancha Marrom Estreita". Em comparação, o prompt padrão levou a uma classificação errada como "Mancha Marrom". Esse exemplo sublinha como é importante integrar conhecimento estruturado no processo de decisão.

#Conclusão

A integração de Ontologias com Modelos de Linguagem Grande Multimodal representa uma oportunidade empolgante pra melhorar o desempenho e a compreensão em tarefas que envolvem informação visual. Usando conhecimento estruturado das ontologias, podemos aumentar a precisão e a explicabilidade dos MLLMs. Nossa pesquisa demonstrou que a combinação dessas duas abordagens pode levar a uma identificação mais confiável de doenças de plantas.

À medida que seguimos em frente, ainda tem muito trabalho a ser feito. Por exemplo, combinar conhecimento de múltiplas ontologias poderia fornecer informações ainda mais ricas. Além disso, aplicar essa estrutura a várias áreas além de doenças de plantas pode revelar novas ideias sobre as capacidades dos MLLMs.

Essa abordagem não só enriquece como usamos os MLLMs, mas também abre caminhos pra aplicações mais rigorosas e confiáveis em cenários do mundo real. O potencial de expandir esse trabalho para outras disciplinas torna isso uma direção promissora pro futuro.