Avanços na Busca de Imagens para Histopatologia

Procurar imagens semelhantes em histopatologia é importante para os profissionais de saúde. Essas buscas ajudam a combinar pacientes para diversas necessidades, como diagnosticar doenças ou prever resultados de tratamentos. As Imagens de Lâmina Inteira (WSIS) são cópias digitais detalhadas de amostras de tecido coletadas de pacientes. Encontrar a correspondência certa entre WSIs é uma técnica chave nesse campo.

Neste artigo, vamos olhar para diferentes métodos de busca de imagens em histopatologia. Vamos focar em quatro motores de busca principais: Bag of Visual Words (BoVW), Yottixel, Self-Supervised Image Search for Histology (SISH) e Retrieval with Clustering-guided Contrastive Learning (RetCCL). Vamos examinar como esses métodos funcionam, suas forças e fraquezas, e como se comparam em termos de velocidade, precisão e necessidades de armazenamento.

#A Necessidade de Soluções de Busca de Imagens

À medida que a patologia digital cresce, há uma demanda crescente por ferramentas que ajudem patologistas a comparar imagens de tecidos de forma eficaz. Essas ferramentas ajudam a reunir informações de casos anteriores, semelhante ao que os profissionais poderiam fazer ao consultar uns aos outros para segundas opiniões. Porém, criar soluções de busca de imagens eficientes enfrenta vários desafios. O primeiro obstáculo é o tamanho massivo das WSIs, que podem ser arquivos de gigapixels. Isso exige um método para dividir essas imagens em seções menores, conhecidas como patches ou tiles.

Um motor de busca eficaz deve usar algoritmos que consigam segmentar WSIs em um número gerenciável de patches, garantindo que apenas os importantes sejam selecionados para exame posterior. Esse processo pode envolver o uso de um modelo de aprendizado profundo pré-treinado para extrair características desses patches. No entanto, não se trata apenas de quão rápido a busca pode ser feita; o método também deve exigir a mínima memória para armazenamento. Muitas soluções atuais focam apenas na velocidade, negligenciando a eficiência de memória.

#Visão Geral dos Métodos de Busca de Imagens

Recentemente, vários métodos de busca de imagens foram propostos. Alguns oferecem pipelines de busca completos, enquanto outros fornecem apenas certos componentes necessários para um motor de busca. Agora vamos analisar nossos quatro frameworks selecionados para realizar buscas em histopatologia.

#Bag of Visual Words (BoVW)

A abordagem BoVW é bem estabelecida e funciona criando um dicionário visual a partir de pequenas seções da imagem chamadas palavras visuais. Diferentes técnicas podem ser usadas para amostrar e extrair esses descritores de imagem. Uma vez que os descritores são reunidos, eles ajudam a criar um dicionário de palavras visuais usadas para busca. O BoVW gera histogramas que representam a WSI usando palavras visuais.

Esse framework tem uma ampla aplicação em vários campos, incluindo análise de imagens médicas. Neste estudo, olhamos de perto para uma versão do BoVW que foi customizada para propósitos de patologia. Os resultados mostraram que o BoVW pode lidar efetivamente com tarefas de recuperação e classificação de imagens.

#Yottixel

O Yottixel é um motor de busca mais novo que trabalha tanto com patches quanto com imagens de lâmina inteira. Ele introduziu um método não supervisionado para dividir WSIs em patches menores com base em seus histogramas de cores e proximidade. Esses patches menores formam um mosaico que representa a WSI inteira.

O Yottixel então extrai características profundas desses patches de mosaico usando uma rede neural. Depois disso, uma técnica de binarização gera códigos de barras para as características, permitindo um armazenamento eficiente e buscas rápidas. Esse método provou ser eficaz em produzir resultados precisos enquanto gerencia bem o armazenamento.

#Self-Supervised Image Search for Histology (SISH)

O SISH se baseia no framework Yottixel e adiciona um recurso único ao incorporar uma rede adicional. Essa rede visa melhorar a velocidade da busca. O SISH utiliza uma estrutura de árvore para buscas mais rápidas, mas mostrou resultados inconsistentes na prática. Os autores do SISH descobriram que suas tentativas de aprimorar o Yottixel só resultaram em melhorias mínimas, levando-os a adicionar um novo algoritmo de classificação após a própria busca.

#Retrieval with Clustering-guided Contrastive Learning (RetCCL)

O RetCCL modifica a abordagem do Yottixel ao substituir seu histograma de cores por características profundas. Esse framework se concentra principalmente em utilizar aprendizado contrastivo guiado por clustering para obter melhores resultados em histopatologia. Apesar desse foco, ele muitas vezes se mostra inadequado em termos de velocidade e precisão em comparação com seus pares.

#Comparando os Frameworks de Busca de Imagens

Nosso trabalho envolveu uma avaliação extensa de como cada um desses quatro motores de busca de imagens se comporta em vários cenários. Nós examinamos fatores como a velocidade com que eles processaram imagens, sua precisão geral e necessidades de armazenamento.

#Estruturas Algorítmicas de Cada Método

As seguintes são categorias-chave em que os métodos diferem:

• Divisão: Todos os métodos devem dividir a WSI em patches, mas fazem isso de maneiras diferentes. O BoVW usa amostragem aleatória, o Yottixel emprega sua abordagem mosaico não supervisionada, enquanto SISH e RetCCL adaptam o mosaico do Yottixel sem introduzir novas técnicas.

• Extração de Características: Cada motor de busca requer características profundas extraídas dos patches. O BoVW depende de métodos tradicionais, enquanto Yottixel e SISH se concentram em características profundas de redes específicas. O RetCCL usa sua própria rede para isso.

• Codificação: A maioria dos métodos utiliza várias técnicas de codificação para aumentar a velocidade ou eficiência de armazenamento. O BoVW e o Yottixel produzem histogramas e códigos de barras, respectivamente. O SISH e o RetCCL usam codificações baseadas em inteiros, mas também requerem mais armazenamento.

• Espaço: A quantidade de armazenamento necessária por cada método varia, com BoVW e Yottixel precisando do menos. O uso de estruturas de árvore pelo SISH leva a altas demandas de armazenamento.

• Correspondência: O método para comparar imagens difere entre os frameworks. O BoVW permite diferentes métricas de distância, enquanto o Yottixel se concentra em distâncias de Hamming. O SISH e o RetCCL também têm suas técnicas específicas de comparação.

#Métricas de Desempenho para Avaliação

Coletamos resultados com base em várias métricas de desempenho, focando tanto em dados internos da Mayo Clinic quanto em conjuntos de dados públicos. As principais métricas incluíram:

• Precisão da Busca: Isso foi avaliado usando a precisão top-1, bem como votação majoritária entre os resultados de busca top-3 e top-5.

• Velocidade de Indexação e Busca: Isso mediu quanto tempo levou para criar um índice para imagens e quão rapidamente as buscas podiam ser realizadas.

• Requisitos de Armazenamento: Isso acompanhou o espaço em disco usado por cada método para salvar imagens indexadas.

#Resultados do Conjunto de Dados Interno

Realizamos experimentos usando dados coletados de quatro tipos diferentes de amostras de tecido: tumores de mama, fígado, câncer de pele e pólipos colorretais.

#Descobertas de Precisão da Busca

Os resultados mostraram consistentemente o Yottixel performando melhor para a maioria dos conjuntos de dados, alcançando altas taxas de precisão nas medidas top-1. O BoVW, embora menos preciso, permaneceu competitivo devido à sua velocidade e uso eficiente de armazenamento. O SISH e o RetCCL tiveram dificuldades para alcançar pontuações satisfatórias, com o RetCCL frequentemente sendo o menos eficaz.

#Resultados de Velocidade de Indexação e Busca

O BoVW provou ser o método mais rápido para indexação, embora o Yottixel tivesse capacidades de busca rápidas devido a suas comparações binárias eficientes. O SISH e o RetCCL ficaram significativamente atrás em tempos de processamento, o que limitou sua praticidade em aplicações do mundo real.

#Resultados de Requisitos de Armazenamento

O BoVW exigiu o menor espaço de armazenamento, tornando-o ideal para aplicações com recursos limitados. O Yottixel também se saiu bem, mas ainda era mais exigente que o BoVW. Em contraste, o SISH e o RetCCL exigiram significativamente mais espaço, o que representa um desafio para grandes conjuntos de dados.

#Resultados do Conjunto de Dados Externo

Também testamos os motores de busca em três conjuntos de dados públicos: CAMELYON16, BRACS e PANDA. O Yottixel se destacou em desempenho nesses conjuntos de dados também, especialmente em precisão, enquanto o SISH enfrentou desafios de confiabilidade com muitas buscas falhadas.

#Resultados de Velocidade de Busca e Armazenamento

Assim como nos testes internos, o Yottixel superou em termos de velocidade e eficiência de armazenamento. O SISH continuou a lutar, reforçando a noção de que seu design é falho para aplicações em larga escala.

#Conclusão e Direções Futuras

Avaliar motores de busca de imagens em histopatologia é vital para reconhecer os pontos fortes e fracos das soluções existentes. Os resultados indicaram que, enquanto Yottixel e BoVW são escolhas sólidas devido à sua velocidade e eficiência de armazenamento, há espaço para melhorias na precisão da busca. Por outro lado, SISH e RetCCL precisam de uma reformulação significativa para serem viáveis para uso clínico.

Olhando para o futuro, o campo pode se beneficiar da introdução de novos algoritmos de patching e soluções automatizadas para seleção de imagens. Além disso, explorar estratégias de busca multimodal pode aumentar muito as capacidades dos motores de busca de imagens em histopatologia. À medida que as demandas por patologia digital crescem, um foco em melhorar tanto a velocidade quanto a precisão nas buscas de imagens se tornará cada vez mais importante.