Simple Science

Ciencia de vanguardia explicada de forma sencilla

# Informática # Aprendizaje automático

Avances en el Aprendizaje Incremental de Clases con Pocas Muestras

Este artículo habla sobre el papel de los gráficos en el aprendizaje incremental por clases con pocos ejemplos.

Yayong Li, Peyman Moghadam, Can Peng, Nan Ye, Piotr Koniusz

― 5 minilectura


Gráfico de conocimientos Gráfico de conocimientos sobre aprendizaje de Few-Shot aprendizaje computacional equilibrado. Examinando nuevos métodos para un
Tabla de contenidos

Cuando hablamos de "Aprendizaje Incremental de Clases con Pocos Ejemplos en Graphs", estamos entrando en una forma de enseñar a las computadoras a reconocer cosas nuevas sin olvidar lo que ya saben. Imagina a un niño que aprende a identificar animales: primero, conoce los gatos y los perros, y luego, con solo un par de ejemplos, puede reconocer un conejo sin confundirse con los otros dos. Esa es la idea que queremos replicar en las computadoras.

El Desafío de Aprender Cosas Nuevas

El aprendizaje cotidiano suele ser una mezcla de Conocimientos viejos y nuevos. Para las computadoras, el desafío ocurre cuando no pueden recordar el conocimiento antiguo porque están ocupadas Aprendiendo cosas nuevas. Piensa en alguien que intenta aprender un nuevo idioma pero olvida su lengua materna en el proceso. Este “olvido” es un gran problema que los investigadores están tratando de resolver.

Por Qué Importan los Graphs

Los graphs son esencialmente colecciones de puntos (nodos) conectados por líneas (aristas). Imagina un mapa que muestra ciudades (nodos) y carreteras (aristas) que las conectan. Esta forma de organizar información ayuda a las computadoras a entender relaciones complicadas en los datos. Cuanto más podamos captar estas relaciones, mejor podrá aprender una computadora y tomar decisiones.

El Proceso de Aprendizaje

Entrenamiento Inicial

El proceso comienza con una "sesión base" donde la computadora aprende una variedad amplia de cosas, como un estudiante construyendo una base en la escuela. Durante este tiempo, la computadora ve muchos ejemplos que cubren un rango de categorías o clases.

Sesiones de Aprendizaje Incremental

Después del entrenamiento base, hay varias sesiones más pequeñas donde la computadora se presenta a nuevas clases. Durante estas sesiones, la computadora debería poder aprender sobre cosas nuevas mientras mantiene el conocimiento que adquirió en el entrenamiento anterior.

Por ejemplo, si la computadora aprendió sobre gatos y perros primero, en una nueva sesión, debería poder aprender sobre conejos sin olvidar lo que sabe sobre gatos y perros.

El Problema del Desequilibrio de Clases

Sin embargo, hay un giro. La computadora a menudo recibe más ejemplos de algunas clases que de otras, lo que se conoce como desequilibrio de clases. Es como tener un salón de clases donde la mayoría de los niños pueden recitar sus libros favoritos pero solo un par puede hablar sobre películas. Este desequilibrio hace que sea difícil para la computadora entender correctamente las nuevas clases.

Un Nuevo Enfoque: TAP

Para abordar estos problemas, los investigadores han ideado un nuevo método llamado TAP, que significa Aumento de Clases Basado en Topología y Calibración de Prototipos. Suena raro, pero vamos a desglosarlo.

Aumento de Clases

El aumento de clases es como darle a la computadora más ejemplos de los que aprender. Así como un artista practica diferentes estilos, a la computadora le beneficia ver muchas versiones diferentes de lo que está intentando aprender. TAP crea clases "aumentadas" mezclando ejemplos, para que la computadora tenga una visión más amplia del tema.

Calibración de Prototipos

La calibración de prototipos trata de refinar la comprensión de la computadora sobre las clases. Piensa en ello como ajustar el enfoque de una cámara. Cuando la computadora ve nuevos ejemplos, usa este proceso para mejorar la claridad de sus "prototipos", que son las imágenes representativas de cómo piensa que se ve una clase.

Olvido vs. Aprendizaje

Una gran preocupación en cada sesión de aprendizaje es el riesgo de olvidar. A medida que llegan nuevas informaciones, la información antigua puede desvanecerse. TAP ayuda a la computadora a evitar esto manteniendo los antiguos prototipos frescos, incluso mientras aprende cosas nuevas.

Acto de Equilibrio

Aprender cosas nuevas mientras se recuerda lo viejo es como caminar por una cuerda floja. TAP utiliza un método para equilibrar los cambios que ocurren en los prototipos a medida que el modelo se actualiza, asegurando que no pierda el control de lo que ya sabe.

Experimentos y Resultados

Para ver qué tan bien funciona TAP, los investigadores lo probaron con varios conjuntos de datos. Un conjunto de datos es solo una colección de ejemplos utilizados para entrenar a la computadora. Basado en los resultados, TAP demostró ser bastante efectivo, superando a otros métodos existentes en la retención de conocimiento mientras aprende nuevas clases.

Conclusión

En resumen, el mundo del Aprendizaje Incremental de Clases con Pocos Ejemplos en Graphs se trata de ayudar a las computadoras a aprender y adaptarse continuamente sin perder su conocimiento previo. Al igual que nosotros, es crucial para las computadoras encontrar un equilibrio entre crecer y recordar. Con avances como TAP, estamos un paso más cerca de construir máquinas que aprenden de una manera más similar a como lo hacemos los humanos.

Así que, la próxima vez que estés lidiando con nueva información y viejos recuerdos, solo piensa en cómo las computadoras están tratando de hacer lo mismo – y ¡esperemos que no dejen caer la bola!

Fuente original

Título: Inductive Graph Few-shot Class Incremental Learning

Resumen: Node classification with Graph Neural Networks (GNN) under a fixed set of labels is well known in contrast to Graph Few-Shot Class Incremental Learning (GFSCIL), which involves learning a GNN classifier as graph nodes and classes growing over time sporadically. We introduce inductive GFSCIL that continually learns novel classes with newly emerging nodes while maintaining performance on old classes without accessing previous data. This addresses the practical concern of transductive GFSCIL, which requires storing the entire graph with historical data. Compared to the transductive GFSCIL, the inductive setting exacerbates catastrophic forgetting due to inaccessible previous data during incremental training, in addition to overfitting issue caused by label sparsity. Thus, we propose a novel method, called Topology-based class Augmentation and Prototype calibration (TAP). To be specific, it first creates a triple-branch multi-topology class augmentation method to enhance model generalization ability. As each incremental session receives a disjoint subgraph with nodes of novel classes, the multi-topology class augmentation method helps replicate such a setting in the base session to boost backbone versatility. In incremental learning, given the limited number of novel class samples, we propose an iterative prototype calibration to improve the separation of class prototypes. Furthermore, as backbone fine-tuning poses the feature distribution drift, prototypes of old classes start failing over time, we propose the prototype shift method for old classes to compensate for the drift. We showcase the proposed method on four datasets.

Autores: Yayong Li, Peyman Moghadam, Can Peng, Nan Ye, Piotr Koniusz

Última actualización: 2024-11-10 00:00:00

Idioma: English

Fuente URL: https://arxiv.org/abs/2411.06634

Fuente PDF: https://arxiv.org/pdf/2411.06634

Licencia: https://creativecommons.org/licenses/by/4.0/

Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.

Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.

Artículos similares