Aumentando a Eficiência dos Robôs na Manipulação de Tubos de Ensaio em Laboratório

Nos últimos anos, robôs se tornaram ferramentas importantes na biologia e medicina. Uma tarefa específica onde os robôs podem ajudar é manuseando tubos de ensaio. Os tubos de ensaio são amplamente usados em laboratórios, e conforme a demanda por trabalho de laboratório cresce, a necessidade de robôs que consigam gerenciar essas tarefas de forma eficaz também aumenta. Quando os robôs conseguem pegar e mover os tubos de ensaio com precisão, eles ajudam a aliviar a falta de mão de obra e criam ambientes de trabalho mais seguros para os humanos.

Para que os robôs possam manipular os tubos de ensaio, primeiro eles precisam reconhecê-los e localizá-los. Esse processo é chamado de Estimativa de Pose, que significa determinar a posição e orientação dos tubos de ensaio com precisão. Neste artigo, discutimos um novo método para detectar e estimar poses de tubos de ensaio localizados em uma prateleira, usando informações de imagens coloridas e Dados de Profundidade.

#Desafios na Detecção de Tubos de Ensaio

Detectar tubos de ensaio pode ser complicado por várias razões. Primeiro, os tubos de ensaio costumam ser colocados muito próximos uns dos outros nas prateleiras, o que pode dificultar a visão dos robôs. Às vezes, um tubo pode bloquear a visão de outro, criando um problema chamado oclusão parcial. Além disso, muitos tubos de ensaio são feitos de materiais transparentes ou semi-transparentes. Isso pode causar problemas com sensores de profundidade, que podem não coletar informações precisas ao olhar através de superfícies transparentes. Esses fatores podem levar a dificuldades na identificação e localização confiável dos tubos de ensaio.

#Métodos Existentes

Muitos estudos se concentraram em detectar objetos e estimar suas poses. Métodos tradicionais geralmente envolvem primeiro encontrar uma localização aproximada para o objeto e, em seguida, refinar essa localização para torná-la mais precisa. Essas abordagens podem ser ineficientes e podem não funcionar bem em ambientes bagunçados onde há outros objetos ou ruído nos dados.

Trabalhos recentes em aprendizado de máquina levaram a melhorias na forma como os objetos são detectados. Alguns sistemas, como o YOLO6d, podem fornecer estimativas de pose em tempo real de objetos, mesmo em ambientes desordenados. No entanto, esses métodos exigem muitos dados de treinamento, o que pode levar bastante tempo e esforço para coletar e rotular.

#Nosso Método

Nosso método para detectar tubos de ensaio usa uma abordagem em duas partes. Primeiro, usamos um sistema chamado YOLO para identificar e localizar tubos de ensaio e prateleiras em imagens coloridas. O próximo passo envolve estimar a posição da prateleira de tubos usando dados de profundidade de Nuvens de Pontos. As nuvens de pontos descrevem as formas dos objetos no espaço 3D.

Uma característica única do nosso método é que levamos em conta como cada tubo de ensaio se relaciona com seu slot correspondente na prateleira. Isso ajuda a garantir que nossas estimativas sejam confiáveis, mesmo quando os dados de profundidade estão ruidosos ou incompletos.

#Fluxo de Trabalho do Sistema

O fluxo de trabalho do nosso sistema começa com duas entradas principais: uma imagem colorida e uma nuvem de pontos. Essas entradas vêm de um sensor de visão. O objetivo é fornecer as poses estimadas tanto dos tubos de ensaio quanto das prateleiras.

Fazemos algumas suposições-chave durante esse processo. Primeiro, assumimos que a prateleira de tubos é sólida e opaca. Segundo, assumimos que a parte inferior dos tubos de ensaio se alinha de perto com a área central de seus slots correspondentes, uma vez que a maioria das prateleiras é projetada para manter os tubos em posições específicas. Terceiro, garantimos que os dados das imagens coloridas e das nuvens de pontos estejam alinhados, o que é importante para uma estimativa de pose precisa.

A primeira etapa envolve usar o YOLO para encontrar tanto os tubos de ensaio quanto a prateleira de tubos na imagem 2D. Uma vez que detectamos esses objetos, podemos extrair suas nuvens de pontos. Depois disso, refinamos a pose da prateleira de tubos comparando sua nuvem de pontos com um modelo pré-existente. Utilizamos um método chamado Iterative Closest Point (ICP) para essa refinamento.

Uma vez que temos a pose da prateleira, podemos estimar as poses dos tubos de ensaio. Começamos projetando as nuvens de pontos dos tubos na superfície da prateleira de tubos para identificar qual slot cada tubo ocupa. Finalmente, um método de Otimização nos ajuda a determinar as poses dos tubos, levando em conta sua forma e posição.

#Detalhes da Estimativa de Pose

#Estimativa de Pose da Prateleira de Tubos

Para estimar a pose da prateleira, criamos um modelo usando dados da superfície da prateleira. Este modelo é escolhido pela sua clareza e densidade de pontos. Começamos encontrando uma transformação inicial com base na forma da prateleira usando o método da Caixa Delimitadora Orientada (OBB). Em seguida, refinamos essa transformação usando o algoritmo ICP, que ajuda a minimizar a diferença entre o modelo e a nuvem de pontos capturada.

Uma vez que determinamos a pose da prateleira, podemos estimar os tubos de ensaio. Primeiro, identificamos o slot correto para cada tubo observando as nuvens de pontos projetadas. Os slots correspondentes nos permitem aplicar restrições que ajudam a melhorar a precisão de nossas estimativas de pose.

#Estimativa de Pose do Tubo

Para estimar as poses dos tubos de ensaio, representamos cada tubo como um cilindro simplificado e determinamos sua pose com base na localização dos pontos em sua nuvem de pontos. Esse método nos permite lidar com cenários onde pode haver dados incompletos. Otimizando a pose do cilindro, encontramos a posição que melhor se ajusta à forma da nuvem de pontos.

Para garantir que rejeitamos estimativas incorretas, estabelecemos restrições geométricas entre os tubos de ensaio e seus slots. Essas restrições ajudam a indicar quando as poses estimadas provavelmente são imprecisas.

#Configuração Experimental e Avaliação

Para testar nosso método proposto, montamos um experimento usando um scanner 3D posicionado acima de uma mesa onde os tubos de ensaio estavam colocados. Avaliamos diferentes tipos de tubos de ensaio, alguns dos quais eram mais desafiadores de detectar devido a seus materiais transparentes.

Para cada tubo de ensaio, projetamos tampas personalizadas impressas em 3D que facilitaram a medição das poses com precisão. Usando essas tampas, conseguimos extrair nuvens de pontos e determinar medições verdadeiras para nossa avaliação.

Nossas métricas de avaliação incluíam medir erros rotacionais e translacionais. Para erros rotacionais, verificamos o alinhamento dos ângulos, e para erros translacionais, medimos as distâncias ao longo de cada eixo.

#Comparação com Outros Métodos

Comparamos nosso método com abordagens tradicionais, como registro de nuvem de pontos combinado com ICP. Nossos resultados mostraram que nosso método teve um desempenho significativamente melhor, especialmente com tubos de ensaio difíceis. A principal razão foi que nosso método considerou as relações entre os tubos de ensaio e seus slots, reduzindo o impacto do ruído durante a detecção.

Embora nosso método tenha se destacado em várias áreas, encontramos algumas limitações. Por exemplo, imprecisões na estimativa da pose da prateleira poderiam impactar a precisão das poses dos tubos de ensaio individuais.

#Custos de Tempo

Em termos de eficiência, rastreamos o tempo gasto em cada parte do nosso processo, desde a detecção dos objetos nas imagens até a estimativa das poses a partir das nuvens de pontos. Nossos achados mostraram que a estimativa da pose da prateleira levou mais tempo, enquanto nosso processo de estimativa da pose dos tubos foi muito mais rápido - aproximadamente três vezes mais rápido que métodos tradicionais de registro.

#Conclusão

Em resumo, desenvolvemos uma estrutura confiável e eficiente para detectar e estimar as poses de tubos de ensaio em prateleiras. Nosso método combina detecção de objetos e estimativa de pose de forma eficaz, mostrando melhorias significativas em precisão e eficiência computacional em comparação com métodos existentes. Essa abordagem tem o potencial de melhorar o manuseio automatizado de tubos de ensaio em laboratórios, beneficiando tanto a biologia quanto a medicina.

Avançando, esperamos refinar ainda mais nosso método, focando em utilizar a informação dos slots da prateleira de forma mais direta. Isso provavelmente aumentará a precisão da estimativa de pose dos tubos e expandirá a versatilidade da estrutura para vários cenários práticos.