Perspectivas de la encuesta de la conferencia Aprendizaje en Grafos

Las conferencias de aprendizaje automático están creciendo y los métodos para revisar las propuestas se están volviendo más complicados. Para entender cómo funcionan estas conferencias y recoger opiniones de diferentes participantes, se realizó una encuesta en la primera Conferencia "Learning on Graphs".

Esta conferencia, que se llevó a cabo del 9 al 12 de diciembre de 2022, buscaba ser un punto de encuentro clave para la investigación sobre el aprendizaje en grafos. Se basó en consejos de expertos reconocidos en el campo y se centró en ofrecer reseñas de alta calidad. Para mejorar el proceso de revisión, se implementaron tres estrategias principales:

1. Recompensas monetarias para los mejores Revisores.
2. Menos artículos asignados a cada revisor en comparación con otras conferencias.
3. Un compromiso con la transparencia y la calidad que fomenta la participación de la comunidad.

Los Autores de la encuesta querían ver si estas estrategias funcionaban. Decidieron que una gran encuesta ayudaría a recopilar información sobre las experiencias de autores, revisores y presidentes de área en la conferencia. Si bien muchas conferencias realizan encuestas, pocas llevan a cambios reales en cómo se gestionan.

El objetivo de este informe es animar a la comunidad a reflexionar sobre estas experiencias, permitiendo una mayor transparencia y una reevaluación de los procesos existentes. A medida que las comunidades de investigación crecen, la forma en que se organizan las conferencias también debe adaptarse. No podemos aplicar los mismos métodos del pasado a un grupo más grande hoy.

#Trabajo Relacionado

Otras conferencias, como NeurIPS 2021, ya han realizado encuestas para evaluar el proceso de revisión, destacando problemas y animando a los autores a no desanimarse demasiado por las rechazos. Sin embargo, las conferencias más grandes enfrentan desafíos para realizar cambios significativos. Esto se debe a que sus comités de programa cambian cada año, dificultando la transferencia de conocimiento.

En contraste, la Conferencia "Learning on Graphs" es más pequeña y nueva, lo que facilita mantener la consistencia en las decisiones. Los autores esperan que sus hallazgos inspiren a otras conferencias a examinar críticamente sus propios procesos.

#Resumen de la Encuesta

Para entender cómo fue la experiencia de la gente en la conferencia, se envió una encuesta a todos los autores, revisores y presidentes de área registrados a través de OpenReview desde finales de noviembre de 2022 hasta mediados de febrero de 2023. La encuesta utilizó principalmente preguntas cerradas con opciones para que los participantes expresaran sus opiniones.

Los datos de respuesta y los métodos de análisis utilizados se hicieron disponibles para asegurar la transparencia. La retroalimentación recopilada ayudará a evaluar qué tan bien funciona la conferencia y a resaltar áreas de mejora.

#Composición de la Muestra

La encuesta se distribuyó a numerosas presentaciones activas, y se recibieron respuestas de un buen número de participantes. Los resultados indican que muchos autores, revisores y presidentes de área se tomaron el tiempo para compartir sus pensamientos y experiencias.

#Preguntas a los Autores

En general, la mayoría de los autores informaron Satisfacción con la conferencia y las reseñas que recibieron. Sin embargo, sus sentimientos sobre la fase de refutación-el momento en que los autores podían responder a las reseñas-fueron mixtos pero aún así positivos.

Los autores también sintieron que la calidad de las reseñas cumplía o superaba los estándares vistos en conferencias comparables. Dado que esta fue la primera edición de la conferencia, este es un resultado notable que confirma la calidad del proceso de revisión. Muchos autores señalaron que su experiencia general en esta conferencia fue al menos tan buena, si no mejor, que en otras conferencias.

#Preguntas a los Revisores

Los revisores informaron que su principal motivación para participar en esta conferencia era el interés en el tema. También apreciaron las recompensas financieras por buenas reseñas y encontraron la carga de trabajo manejable.

La mayoría de los revisores expresó satisfacción con el proceso de revisión y la fase de refutación, afirmando que estaba a la par con sus experiencias en otras conferencias establecidas. Los revisores notaron que la carga de trabajo era menor de lo que típicamente enfrentaban en otros eventos.

#Preguntas a los Presidentes de Área

A pesar de que un número pequeño de presidentes de área participó, aquellos que lo hicieron proporcionaron Comentarios y estaban generalmente satisfechos con su experiencia de revisión en general. También sintieron que su carga de trabajo era manejable en comparación con otras conferencias.

#Retroalimentación General

Se le dio a los participantes la opción de discutir la configuración actual de la conferencia y compartir comentarios abiertos. Muchos desearon más tiempo para interactuar con los revisores y sugirieron que se necesita una mejor cultura de revisión. Algunos expresaron preocupaciones sobre las demandas impuestas por los revisores, señalando que algunas solicitudes parecían irrelevantes o fuera de lugar.

Varios encuestados sugirieron permitir comentarios públicos sobre las presentaciones para involucrar aún más a la comunidad en el proceso. También hubo comentarios que destacaban una experiencia positiva en comparación con otras conferencias.

#Track de Resúmenes Extendidos

La conferencia tuvo una pista única para resúmenes extendidos. Los participantes compartieron sentimientos mixtos al respecto. Muchos apreciaron la oportunidad de enviar trabajos iniciales o preliminares para recibir retroalimentación rápida, pero estaban preocupados por las brechas de calidad percibidas. Los revisores parecían tener estándares altos para esta pista, lo que hacía difícil la aceptación.

#Conclusiones y Direcciones Futuras

Las respuestas iniciales a la Conferencia "Learning on Graphs" muestran un compromiso positivo y una disposición a mejorar aún más el proceso. Muchos participantes sintieron que sus experiencias estaban entre las mejores que han tenido en conferencias pasadas, con algunos señalando estándares de revisión particularmente altos.

Sin embargo, también se destacaron áreas para mejora, especialmente en lo que respecta a la comunicación entre autores y revisores. En algunos casos, hubo artículos que no recibieron retroalimentación, lo que sugiere una oportunidad para un mejor compromiso.

A futuro, los organizadores de la conferencia planean mantener el proceso de selección de revisores y mantener alta la calidad de la retroalimentación. También quieren monitorear el proceso de revisión más de cerca para identificar y abordar cualquier problema de comunicación desde el principio.

El concepto de un sistema de reputación para revisores también se mencionó como una manera de mejorar la responsabilidad y promover buenas prácticas entre los revisores. Aunque esta idea tiene sus complejidades, los beneficios podrían ser significativos para elevar la calidad de las reseñas en toda la comunidad.

Esta retroalimentación de la primera conferencia servirá como base para la próxima edición y más allá, con la esperanza de encontrar soluciones a los desafíos continuos mientras se nutre una comunidad de apoyo para los investigadores. A medida que la conferencia crezca, buscarán refinar y mejorar sus procesos de una manera que beneficie a todos los participantes: autores, revisores y presidentes de área por igual.