Automatizando la detección de bugs visuales en videojuegos

A medida que los videojuegos se vuelven más grandes y complejos, asegurar que se vean bien se vuelve más importante y complicado. Probar juegos para errores visuales tradicionalmente requiere mucho tiempo y recursos, lo que hace difícil detectar todos los posibles problemas. El aprendizaje automático ofrece una forma de automatizar y escalar este proceso de prueba, pero crear grandes conjuntos de Datos Etiquetados, que las máquinas necesitan para aprender, es complicado.

Para abordar esto, sugerimos un nuevo método que utiliza videos de juego que no han sido etiquetados junto con ciertas técnicas que mejoran los datos. El objetivo es crear objetivos Auto-supervisados que ayuden a encontrar errores visuales en el juego. Nuestro enfoque utiliza Supervisión débil para ampliar los datos para estos objetivos, permitiendo tanto métodos automatizados como interactivos. Esto incluye técnicas como agrupamiento no supervisado y el uso de indicaciones textuales o geométricas para guiar el proceso.

Probamos nuestro método enfocándonos en errores específicos donde los jugadores atraviesan objetos en un juego llamado Giantmap. Nuestros resultados muestran claras ventajas, funcionando mejor que los métodos supervisados tradicionales, incluso cuando los datos son escasos. Con solo cinco ejemplos etiquetados de "buenas" imágenes (sin errores), nuestro método auto-supervisado logró capturar suficiente información útil para superar los resultados de métodos supervisados intensamente con bajos datos. Nuestro método se basa en modelos de visión preentrenados, lo que le permite adaptarse a varios tipos de errores visuales.

#Antecedentes e Introducción

La calidad visual de los videojuegos impacta significativamente en la satisfacción del jugador. A medida que los juegos se mueven hacia mundos grandes y abiertos llenos de detalles intrincados, enfrentan un número creciente de posibles errores. Los métodos de prueba manual tradicionales luchan para hacer frente a esta complejidad debido a las limitaciones de tiempo y recursos. Los avances en visión por computadora y aprendizaje automático ofrecen alternativas prometedoras, proporcionando formas automatizadas de probar lo visual y permitiendo así que los desarrolladores se enfoquen en otros aspectos del juego.

El éxito del aprendizaje profundo en visión por computadora se debe principalmente a las grandes cantidades de datos etiquetados que generalmente se recopilan de internet. Sin embargo, en el contexto de un solo juego, reunir conjuntos de datos etiquetados tan extensos a menudo es impráctico. Capturar y etiquetar manualmente errores visuales a gran escala no es factible, especialmente dado que estos errores tienden a ser bastante raros.

Los enfoques recientes en visión por computadora han buscado automatizar la prueba visual, ya sea mejorando la disponibilidad de datos de los motores de juego o usando métodos de detección de anomalías que tratan los errores como ocurrencias inusuales comparadas con cuadros normales. Sin embargo, los entornos de juego cambian constantemente, lo que requiere un conjunto de datos actualizado generado para nuevos recursos del juego considerando varios factores como el entorno y la iluminación.

Nuestro método propuesto apunta a usar videos de juego no etiquetados junto con técnicas específicas de aumento para crear objetivos para detectar errores visuales. Este enfoque es particularmente útil en situaciones donde los datos etiquetados son limitados, algo común en el desarrollo de juegos. Nuestro método aprovecha grandes modelos de visión preentrenados y técnicas de manipulación de datos específicas para crear objetivos auto-supervisados, escalando nuestro conjunto de datos a través de supervisión débil.

#La Metodología

El aprendizaje auto-supervisado es una técnica que aprende de datos no etiquetados optimizando un objetivo específico que se puede transferir a tareas reales. La supervisión débil ayuda a crear y escalar rápidamente conjuntos de datos etiquetados ruidosos, que han demostrado ser efectivos en el entrenamiento de modelos en varios campos. La supervisión débil interactiva combina experiencia en el dominio con escalabilidad a través de un proceso interactivo.

Nuestro enfoque utiliza objetivos específicos del dominio mejorados a través de la supervisión débil. Esto implica grandes modelos preentrenados e integrar indicaciones textuales y geométricas para una interacción eficiente. Mostramos que nuestro método puede adaptarse a varios tipos de errores visuales, incluyendo problemas de clip y de textura.

#Los Pasos Principales del Método

1. Etapa de Segmentación: Tomamos videos de juego no etiquetados y aplicamos un modelo para extraer automáticamente secciones visuales importantes, conocidas como máscaras. Este modelo utiliza indicaciones geométricas para guiar el proceso y centrarse en áreas relevantes para detectar errores.

2. Etapa de Filtrado: Después de obtener las máscaras, las filtramos usando métodos no supervisados o con la entrada del usuario a través de indicaciones textuales. El filtrado ayuda a equilibrar los tipos de datos y mejora la calidad general del conjunto de datos.

3. Etapa de Aumento: Tras el filtrado, usamos estas máscaras junto con imágenes etiquetadas o no etiquetadas para crear objetivos auto-supervisados a través de aumentación específica del dominio. Esto significa que generamos nuevos ejemplos aplicando varias transformaciones a los datos existentes.

#Desafíos en la Detección de Errores Visuales

Hay varios desafíos en el campo de la detección de errores visuales que moldean cómo abordamos el problema. Primero, la cantidad de datos etiquetados disponibles es a menudo muy limitada. Las pruebas solo pueden ocurrir durante breves ventanas en el ciclo de desarrollo del juego, haciendo que la velocidad y la eficiencia sean cruciales.

Segundo, no tener acceso al código fuente del juego limita las opciones que podemos usar para automatizar la prueba visual. Aunque muchos motores de juego ahora incluyen características de aprendizaje automático, no es una solución escalable para todos los juegos. Incluso cuando se pueden reunir datos, puede que no se adapten bien a nuevos escenarios a medida que el juego evoluciona.

Realizamos experimentos usando un entorno de juego específico (Giantmap) que implicaba agregar nuevos objetos y probar nuestros métodos para identificar el clip del jugador en primera persona. Esto significa cuando los jugadores atraviesan objetos debido a configuraciones inapropiadas en la malla de colisión del juego. Generamos muchas muestras del entorno del juego programáticamente, creando un conjunto de datos sustancial mientras trabajamos dentro de los límites de los datos etiquetados.

#Experimentos y Resultados

Reportamos nuestros hallazgos basados en diferentes arquitecturas de modelo y métodos. Notablemente, observamos que cuando los modelos se entrenaron usando nuestro enfoque auto-supervisado, superaron a los modelos tradicionales como ResNet, especialmente en configuraciones con pocos datos etiquetados para errores visuales.

Los resultados mostraron que al usar nuestro método, particularmente con una pequeña cantidad de datos etiquetados, pudimos lograr alta precisión. Notablemente, logramos mejoras significativas en rendimiento al emplear nuestros objetivos auto-supervisados en comparación con enfoques de aprendizaje supervisado tradicionales.

En uno de nuestros experimentos, usamos un conjunto de datos diminuto con solo 15 muestras etiquetadas, y nuestro método mostró un puntaje F1 de 0.550. Esta es una métrica importante ya que equilibra precisión y recuperación, dando una visión clara del rendimiento del modelo en la detección de errores visuales.

#Discusión y Trabajo Futuro

Los resultados destacan cómo nuestro método, que usa supervisión débil para mejorar objetivos auto-supervisados, mejora significativamente el rendimiento en comparación con solo depender de datos supervisados. Sin embargo, nuestro enfoque depende en gran medida de cómo se recopilan los datos. Es crucial entender que, aunque hemos logrado avances en la detección de errores visuales, todavía hay áreas donde se pueden hacer mejoras.

Una posible vía para el trabajo futuro implica integrar técnicas avanzadas en aprendizaje no supervisado o explorar diferentes fuentes de datos para enriquecer el proceso de entrenamiento. Nuestra investigación actual se ha centrado en juegos específicos, pero las técnicas pueden aplicarse a una gama más amplia de tipos de videojuegos y problemas visuales.

Además, la naturaleza del contenido del juego siempre evoluciona, y necesitamos asegurarnos de que nuestros métodos puedan adaptarse a estos cambios sin requerir datos nuevos extensos. También hay una oportunidad de incorporar datos multimodales que puedan enriquecer la riqueza de las pistas visuales que nuestros modelos capturan.

En resumen, la detección de errores visuales presenta desafíos distintos debido a la naturaleza siempre cambiante del contenido del juego, la disponibilidad limitada de datos etiquetados y la necesidad de métodos fiables que puedan generalizarse a nuevos escenarios. Nuestra exploración de un enfoque multi-etapa con supervisión débil se centra en abordar estos desafíos utilizando efectivamente los datos existentes. Nuestros hallazgos muestran promesas en la generación de conjuntos de datos curados para videojuegos, facilitando avances adicionales en los métodos de detección de errores visuales.