Mejorando la eficiencia de los robots en el manejo de tubos de ensayo en el laboratorio

En los últimos años, los robots se han vuelto herramientas importantes en biología y medicina. Una tarea específica en la que los robots pueden ayudar es en el manejo de tubos de ensayo. Los tubos de ensayo se usan mucho en laboratorios, y a medida que crece la necesidad de trabajo de laboratorio, también aumenta la demanda de robots que puedan gestionar estas tareas de manera efectiva. Cuando los robots pueden recoger y mover tubos de ensayo con precisión, ayudan a aliviar la falta de mano de obra y crean entornos de trabajo más seguros para los humanos.

Para que los robots manipulen tubos de ensayo, primero necesitan reconocerlos y localizarlos. Este proceso se llama estimación de pose, que significa determinar la posición y orientación de los tubos de ensayo con precisión. En este artículo, hablamos de un nuevo método para detectar y estimar las poses de los tubos de ensayo ubicados en un soporte, utilizando información tanto de imágenes en color como de Datos de Profundidad.

#Desafíos en la detección de tubos de ensayo

Detectar tubos de ensayo puede ser complicado por varias razones. Primero, los tubos de ensayo suelen colocarse muy cerca unos de otros en los soportes, lo que puede dificultar que los robots los vean claramente. A veces, un tubo de ensayo puede bloquear la vista de otro, creando un problema llamado oclusión parcial. Además, muchos tubos de ensayo están hechos de materiales claros o semi-transparentes. Esto puede causar problemas con los sensores de profundidad, que pueden no recopilar información precisa al mirar a través de superficies transparentes. Estos factores pueden llevar a dificultades en la identificación y localización confiables de los tubos de ensayo.

#Métodos existentes

Muchos estudios se han centrado en detectar objetos y estimar sus poses. Los métodos tradicionales a menudo implican primero encontrar una ubicación aproximada para el objeto y luego refinar esa ubicación para que sea más precisa. Estos enfoques pueden ser ineficientes y pueden no funcionar bien en entornos desordenados donde hay otros objetos o ruido en los datos.

Los trabajos recientes en aprendizaje automático han llevado a mejoras en cómo se detectan los objetos. Algunos sistemas, como YOLO6d, pueden proporcionar estimaciones de pose en tiempo real de objetos, incluso en entornos desordenados. Sin embargo, estos métodos requieren muchos datos de entrenamiento, lo cual puede tomar mucho tiempo y esfuerzo reunir y etiquetar.

#Nuestro método

Nuestro método para detectar tubos de ensayo utiliza un enfoque de dos partes. Primero, empleamos un sistema llamado YOLO para identificar y localizar tubos de ensayo y soportes en imágenes en color. El siguiente paso implica estimar la posición del soporte de tubos usando datos de profundidad de Nubes de Puntos. Las nubes de puntos describen las formas de los objetos en el espacio 3D.

Una característica única de nuestro método es que tomamos en cuenta cómo cada tubo de ensayo se relaciona con su ranura correspondiente en el soporte. Esto ayuda a asegurar que nuestras estimaciones sean confiables, incluso cuando los datos de profundidad son ruidosos o incompletos.

#Flujo de trabajo del sistema

El flujo de trabajo de nuestro sistema comienza con dos entradas principales: una imagen en color y una nube de puntos. Estas entradas provienen de un sensor de visión. El objetivo es salir con las poses estimadas de tanto los tubos de ensayo como de los soportes.

Hacemos algunas suposiciones clave durante este proceso. Primero, asumimos que el soporte de tubos es sólido y opaco. Segundo, asumimos que el fondo de los tubos de ensayo se alinea estrechamente con el área central de sus ranuras correspondientes, ya que la mayoría de los soportes están diseñados para sostener tubos en posiciones específicas. Tercero, aseguramos que los datos de las imágenes de color y las nubes de puntos coincidan, lo cual es importante para una estimación de pose precisa.

El primer paso implica usar YOLO para encontrar tanto los tubos de ensayo como el soporte de tubos en la imagen 2D. Una vez que detectamos estos objetos, podemos extraer sus nubes de puntos. Después de eso, refinamos la pose del soporte de tubos al comparar su nube de puntos con una plantilla preexistente. Utilizamos un método llamado Iterative Closest Point (ICP) para este refinamiento.

Una vez que tenemos la pose del soporte, podemos estimar las poses de los tubos de ensayo. Comenzamos proyectando las nubes de puntos de los tubos sobre la superficie del soporte de tubos para identificar qué ranura ocupa cada tubo. Finalmente, un método de Optimización nos ayuda a determinar las poses de los tubos, teniendo en cuenta su forma y posición.

#Detalles de la estimación de pose

#Estimación de pose del soporte de tubos

Para estimar la pose del soporte, creamos una plantilla usando datos de la superficie del soporte. Esta plantilla se elige por su claridad y densidad de puntos. Comenzamos encontrando una transformación inicial basada en la forma del soporte usando el método de Caja Envolvente Orientada (OBB). Luego, refinamos esta transformación utilizando el algoritmo ICP, que ayuda a minimizar la diferencia entre la plantilla y la nube de puntos capturada.

Una vez que determinamos la pose del soporte, podemos estimar los tubos de ensayo. Primero, identificamos la ranura correcta para cada tubo observando las nubes de puntos proyectadas. Las ranuras correspondientes nos permiten aplicar restricciones que ayudan a mejorar la precisión de nuestras estimaciones de pose.

#Estimación de pose de tubos

Para estimar las poses de los tubos de ensayo, representamos cada tubo como un cilindro simplificado y determinamos su pose en función de la ubicación de los puntos en su nube de puntos. Este método nos permite manejar escenarios en los que puede haber datos incompletos. Al optimizar la pose del cilindro, encontramos la posición que mejor coincide con la forma de la nube de puntos.

Para asegurarnos de que rechazamos estimaciones incorrectas, establecemos restricciones geométricas entre los tubos de ensayo y sus ranuras. Estas restricciones ayudan a indicar cuándo las estimaciones de pose son probablemente inexactas.

#Configuración experimental y evaluación

Para probar nuestro método propuesto, configuramos un experimento usando un escáner 3D ubicado sobre una mesa donde se colocan los tubos de ensayo. Evaluamos diferentes tipos de tubos de ensayo, algunos de los cuales eran más difíciles de detectar debido a sus materiales transparentes.

Para cada tubo de ensayo, diseñamos tapas personalizadas impresas en 3D que facilitaban medir las poses con precisión. Al usar estas tapas, pudimos extraer nubes de puntos y determinar mediciones de verdad básica para nuestra evaluación.

Nuestras métricas de evaluación incluyeron medir errores rotacionales y translacionales. Para los errores rotacionales, verificamos la alineación de los ángulos, y para los errores translacionales, medimos las distancias a lo largo de cada eje.

#Comparación con otros métodos

Comparamos nuestro método con enfoques tradicionales, como el registro de nubes de puntos combinado con ICP. Nuestros resultados mostraron que nuestro método tuvo un rendimiento significativamente mejor, especialmente con tubos de ensayo difíciles. La razón principal es que nuestro método tuvo en cuenta las relaciones entre los tubos de ensayo y sus ranuras, reduciendo el impacto del ruido durante la detección.

Aunque nuestro método destacó en muchas áreas, encontramos que tenía algunas limitaciones. Por ejemplo, imprecisiones en la estimación de la pose del soporte podrían afectar la precisión de las poses de los tubos de ensayo individuales.

#Costos de tiempo

En términos de eficiencia, rastreamos el tiempo tomado para cada parte de nuestro proceso, desde detectar objetos en las imágenes hasta estimar poses a partir de nubes de puntos. Nuestros hallazgos mostraron que la estimación de la pose del soporte tomó el mayor tiempo, mientras que nuestro proceso de Estimación de Poses de tubos fue mucho más rápido, aproximadamente tres veces más rápido que los métodos de registro tradicionales.

#Conclusión

En resumen, desarrollamos un marco confiable y eficiente para detectar y estimar las poses de tubos de ensayo en soportes. Nuestro método combina la detección de objetos y la estimación de poses de manera efectiva, mostrando mejoras significativas en precisión y eficiencia computacional en comparación con métodos existentes. Este enfoque tiene el potencial de mejorar el manejo automatizado de tubos de ensayo en laboratorios, beneficiando tanto a la biología como a la medicina.

De cara al futuro, anticipamos refinar aún más nuestro método enfocándonos en utilizar la información de las ranuras del soporte de forma más directa. Esto probablemente mejorará la precisión de nuestra estimación de poses de tubos y ampliará la versatilidad del marco para varios escenarios prácticos.