Nuevo conjunto de datos y desafío para segmentación de pocos disparos en teledetección

Aprender de una pequeña cantidad de datos etiquetados es complicado en muchas áreas, especialmente en teledetección. La Segmentación Semántica de Pocos Ejemplos es una forma para que los modelos de aprendizaje profundo aprendan solo de unos pocos ejemplos etiquetados de nuevas clases que no se vieron antes durante el entrenamiento. El escenario de segmentación de pocos ejemplos generalizado añade otra capa de dificultad, ya que los modelos no solo deben aprender a trabajar con nuevas clases, sino también seguir siendo efectivos con las viejas clases que ya aprendieron.

Aunque ha habido charlas sobre segmentación de pocos ejemplos en teledetección, hasta ahora no había un referente para la segmentación de pocos ejemplos generalizada en este campo. Esto hace la tarea más realista y desafiante, y es esencial examinar este tema dentro de la teledetección. Se ha creado un conjunto de datos añadiendo más clases a un recurso ya existente llamado OpenEarthMap para apoyar la evaluación en este contexto de pocos ejemplos generalizado.

Este nuevo conjunto de datos viene con un desafío que busca mejorar el mapeo de cobertura del suelo, que tendrá lugar durante un taller relacionado con una importante conferencia de visión por computadora en 2024. Este artículo da un resumen del conjunto de datos y el desafío, proporcionando resultados de dos fases del desafío en conjuntos de validación y prueba.

#Antecedentes sobre Teledetección y Aprendizaje Profundo

El aprendizaje profundo ha demostrado ser exitoso en varias aplicaciones de teledetección, como el mapeo de cobertura del suelo y la predicción de rendimientos de cultivos. Recientemente, han surgido modelos fundamentales para la teledetección. Estos modelos se entrenan en grandes conjuntos de datos y han mostrado fuertes habilidades para generalizar su conocimiento.

Aún hay una brecha en la investigación sobre aprendizaje de pocos ejemplos dentro de la teledetección, especialmente con la llegada de modelos fundamentales y la capacidad de aplicar técnicas de pocos ejemplos a ellos. El aprendizaje de pocos ejemplos se basa en un pequeño conjunto de ejemplos etiquetados para ayudar a estos modelos a adaptarse a nuevas clases presentes en las imágenes objetivo. Tradicionalmente, el proceso de entrenamiento muestrea conjuntos de soporte y consulta, y este proceso se conoce como Meta-aprendizaje.

Con el auge de los modelos fundamentales, han comenzado a surgir nuevos enfoques para el aprendizaje de pocos ejemplos. La mayoría de los trabajos existentes se centraron en imágenes naturales, pero los investigadores han comenzado a investigar el aprendizaje de pocos ejemplos en teledetección, incluyendo tareas como la clasificación de escenas y el mapeo de cobertura del suelo.

#El Conjunto de Datos OEM-GFSS

Te presentamos el conjunto de datos OpenEarthMap Generalized Few-Shot Semantic Segmentation (OEM-GFSS), que tiene como objetivo mejorar el mapeo de cobertura del suelo con un enfoque en teledetección. Este conjunto de datos es una extensión del conjunto de datos OpenEarthMap existente, añadiendo nuevas clases de cobertura del suelo definidas con precisión para hacerlo más útil.

Originalmente, el conjunto de datos OpenEarthMap tenía ocho etiquetas de cobertura del suelo de grano grueso. El conjunto de datos OEM-GFSS lo amplía a 15 clases de grano fino. Se recopilaron un total de 408 imágenes de 73 regiones geográficas diferentes alrededor del mundo para representar estas clases, con una resolución espacial que permite un mapeo detallado de la cobertura del suelo.

Para crear este conjunto de datos, se definieron nuevas clases examinando imágenes en el conjunto de prueba original de OpenEarthMap. Luego, las imágenes fueron etiquetadas por anotadores humanos, con controles de calidad en su lugar para asegurar precisión. Este proceso llevó a anotaciones finamente detalladas de las nuevas clases, que reflejan objetos comúnmente identificables en imágenes de cobertura del suelo.

#Resumen del Desafío

Para fomentar el aprendizaje con datos etiquetados limitados para la teledetección, se lanzó un desafío basado en el conjunto de datos OEM-GFSS. Este desafío buscaba empujar los límites de las técnicas de segmentación de pocos ejemplos y permitió a los investigadores competir en dos fases principales.

Durante la primera fase, los participantes recibieron conjuntos de entrenamiento y validación. Presentaron sus resultados basados en el conjunto de validación y debían enviar un artículo explicando su enfoque para competir en la segunda fase. La segunda fase implicó evaluar sus resultados finales en el conjunto de prueba.

Se estableció una línea base para el desafío utilizando un método de segmentación de pocos ejemplos bien conocido. Esta línea base incorporó una técnica centrada en preservar el rendimiento del modelo en las clases base mientras se ajustaba en nuevas clases.

#Resultados del Desafío

El desafío produjo una variedad de resultados, mostrando los métodos y el rendimiento de varios participantes. El enfoque estuvo en cómo de bien los modelos podían identificar clases nuevas y viejas en varias imágenes.

Para los resultados cualitativos, el modelo de línea base tuvo problemas con algunas clases nuevas, pero se desempeñó bien con las clases base en general. Esto indicó las posibles dificultades de las tareas de segmentación de pocos ejemplos que implican identificar nuevas clases en un fondo de clases familiares.

Los resultados cuantitativos proporcionaron claves sobre cómo varios métodos se desempeñaron entre sí.

Durante la primera fase, un participante, que había desarrollado un método para mantener prototipos aprendidos distintos de clases nuevas, logró los mejores resultados. Otro participante se centró en encontrar similitudes entre clases viejas y nuevas para ayudar al aprendizaje, clasificándose muy cerca detrás. Una tercera entrada usó un marco que asistió en el proceso a través de múltiples estrategias.

En la segunda fase, el modelo que superó a todos los demás se basó significativamente en un ensamble de diferentes estrategias de aprendizaje, mostrando su efectividad en este entorno más desafiante.

#Conclusión

La introducción del conjunto de datos OEM-GFSS y el desafío relacionado marca un paso significativo hacia adelante en el campo de la segmentación semántica de pocos ejemplos para la teledetección. Al centrarse en la dificultad de aprender con datos etiquetados limitados, abre nuevas oportunidades para la investigación y el desarrollo.

A medida que la comunidad interactúa con este nuevo referente, se anticipa que emerjan métodos más avanzados, permitiendo a los modelos adaptarse mejor a nuevas clases mientras aún rinden bien en aquellas aprendidas previamente. La liberación pública de este conjunto de datos tiene como objetivo fomentar la investigación y la innovación en el abordaje de los desafíos de la teledetección en varias aplicaciones.