Evaluando la Utilidad de Modelos de Datos de Movilidad Sintética

En los últimos años, ha habido un gran aumento en la creación de modelos que producen datos de movilidad falsos. Estos modelos intentan ayudar a compartir datos mientras mantienen la información personal a salvo. También buscan ser útiles para distintas situaciones. Sin embargo, la forma en que verificamos lo útiles que son estos modelos no siempre considera lo que pasa en la vida real.

Este trabajo analiza la utilidad de cinco modelos avanzados para crear datos de viajes falsos. Estos datos de viaje registran movimientos detallados en las ciudades, como los viajes en taxi rastreados por GPS. Este tipo de datos es especialmente útil para tareas que se enfocan en redes viales. El primer paso es hacer coincidir los datos generados con mapas reales y luego comparar estos viajes con los realizados por una herramienta de enrutamiento conocida como OpenStreetMap, que es conocida por ser eficiente y segura en cuanto a privacidad.

Entre los cinco modelos que revisamos, uno no pudo producir datos lo suficientemente rápido, y otro cometió demasiados errores para hacer una buena Coincidencia de Mapas. Los otros tres modelos funcionaron bien, uno incluso asegurando la privacidad. Aun así, todos los modelos tuvieron problemas para crear secuencias útiles de ubicaciones, y no representaron con precisión cómo fluye el tráfico en las intersecciones.

Es importante recordar que los datos de viaje incluyen más que solo información de ubicación. También contienen detalles de tiempo y otros, que estos modelos a menudo ignoran. Por lo tanto, nuestros hallazgos muestran que los modelos actuales no cumplen con sus promesas de ser altamente útiles y adaptables.

#Entendiendo los Datos de Movilidad Sintéticos

El proceso de generar datos de movilidad falsos ha crecido rápidamente debido a preocupaciones sobre la privacidad. La gente se preocupa por compartir datos de viaje personales sensibles. Estos algoritmos aprenden patrones de datos reales y utilizan este conocimiento para crear datos falsos que se ven similares pero no revelan información privada.

En los datos de movilidad, un enfoque común son los "viajes". Los viajes son rutas específicas tomadas entre ubicaciones, como los viajes en taxi o en bicicleta rastreados por GPS. Este estudio se centra en estos viajes en lugar de datos que solo enumeran lugares que alguien visitó con el tiempo, como hacer check-in en restaurantes.

Un objetivo principal de estos modelos es producir viajes "realistas". Las evaluaciones a menudo verifican si las estadísticas generales, como a dónde viajan las personas, coinciden entre los conjuntos de datos reales y falsos. Este proceso de verificación a menudo no satisface las necesidades de la vida real. Dependiendo de cómo dividamos el área en una cuadrícula, los viajes falsos pueden parecer extraños o poco realistas, como saltar sobre edificios o ríos.

El valor de los datos de viaje es que pueden coincidir de cerca con las redes viales reales. Esto permite un análisis más profundo, como medir la velocidad del tráfico o contar vehículos en un segmento de carretera determinado, lo que puede ayudar en la planificación urbana.

#Evaluando Modelos de Movilidad Sintética

Este documento evalúa algunos algoritmos de vanguardia para generar datos de viajes falsos. Empezamos haciendo coincidir sus viajes con caminos reales. Después, comparamos estas coincidencias con los viajes realizados por herramientas de enrutamiento como OpenStreetMap. Creemos que para que estos algoritmos generadores de datos falsos sean realmente valiosos, necesitan proporcionar mejores resultados que las herramientas de enrutamiento estándar.

Nos enfocamos en tres preguntas principales:

1. ¿Qué hace que los datos de viaje sean útiles y cómo podemos medirlo?
2. ¿Qué tan útiles son los modelos actuales en comparación con un método de enrutamiento simple?
3. ¿Es aún posible proporcionar datos útiles mientras se mantiene la información personal privada?

Primero presentaremos los cinco algoritmos que revisamos. Luego, explicaremos cómo medimos su utilidad. Esto será seguido por la descripción de nuestra configuración experimental y compartiremos los resultados. Terminaremos discutiendo lo que encontramos y posibles caminos para futuras investigaciones.

#Algoritmos de Síntesis

En los últimos años, han surgido varios modelos para crear datos de movilidad falsos, con el objetivo de ofrecer conjuntos de datos detallados mientras protegen la privacidad. Estos algoritmos aprenden patrones de un conjunto de datos real y generan una copia sintética basada en estos patrones. Sin embargo, sin protección de privacidad adicional, no hay garantía de que los modelos no revelen accidentalmente viajes reales o datos sensibles.

Para resolver esto, muchos modelos utilizan medidas de privacidad, a menudo basadas en algo llamado Privacidad Diferencial (DP). La DP asegura que cambiar los datos de una persona no afectará significativamente la salida del algoritmo, ayudando a mantener los datos individuales ocultos. Por lo general, para lograr la DP, se añade ruido a las salidas para interrumpir cualquier información identificativa.

Elegimos cinco modelos para nuestra evaluación para asegurar una variedad de técnicas. Los modelos que seleccionamos son AdaTrace, PrivTrace, BiLSTM, DP-Loc y TrajGAIL.

#AdaTrace

AdaTrace es un modelo conocido que proporciona DP. Funciona descomponiendo coordenadas en una cuadrícula de celdas iguales. Crea viajes en tres pasos. Primero, selecciona ubicaciones de inicio y fin basándose en un método de DP. Luego, determina cuántos puntos habrá en el viaje. Finalmente, construye el viaje eligiendo aleatoriamente ubicaciones hasta que el viaje esté completo, usando un modelo que mantiene probabilidades de DP para cada lugar.

#PrivTrace

PrivTrace es más nuevo y busca solucionar algunos problemas de AdaTrace, especialmente en cuanto a la cantidad de información de transición utilizada. Al igual que AdaTrace, trabaja en tres fases, pero utiliza un método de muestreo más complejo que considera detalles más finos. Este modelo también garantiza DP.

#DP-Loc

DP-Loc comienza reduciendo el número de ubicaciones examinadas a aquellas frecuentemente visitadas. Primero genera ubicaciones de inicio y fin antes de crear el viaje en sí. Este modelo utiliza un tipo de red neuronal para ayudar en este proceso. Al igual que los demás, asegura la privacidad añadiendo ruido en varios pasos de su función.

#BiLSTM

El modelo BiLSTM se basa en un tipo de red neuronal recurrente. Trata cada viaje como una oración y trata de crear secuencias realistas de ubicaciones, similar a cómo se generaría un texto. Se añade un mecanismo de privacidad para seleccionar aleatoriamente entre las mejores ubicaciones predichas. Sin embargo, resultados anteriores mostraron que este modelo no mantenía buena utilidad, resultando en saltos poco razonables entre puntos.

#TrajGAIL

TrajGAIL utiliza aprendizaje por refuerzo donde un agente se mueve basándose en un conjunto de acciones aprendidas en una simple red vial en cuadrícula. Aunque carece de protecciones de privacidad, se incluye para mostrar su potencial y resaltar áreas de mejora.

#Midiendo la Utilidad

Determinar cuán útiles son los datos de movilidad sintéticos puede ser complicado. A diferencia de otras áreas, como los datos médicos, donde podemos enmarcar tareas fácilmente, evaluar datos de movilidad es más difícil. Tradicionalmente, verificamos las similitudes entre los conjuntos de datos reales y falsos basándonos en varias características, como su distribución espacial.

Los datos de movilidad contienen más que solo ubicaciones; también incluyen detalles de tiempo, modos de transporte y detalles demográficos. Estos elementos ayudan a dar una visión más completa de los datos que los profesionales podrían desear. Sin embargo, ninguno de los cinco modelos que revisamos incluía información específica de los usuarios o marcas de tiempo.

Esto significa que solo podemos evaluar características básicas como la distribución de ubicaciones y la longitud de los viajes. Dado que las características dependen de cómo las medimos, una alta coincidencia en ubicaciones no refleja siempre la calidad real del viaje.

Para abordar estas brechas, proponemos tomar un enfoque práctico en la definición de alta utilidad para los datos sintéticos de viajes y elegir métricas adecuadas.

#Coincidencia de Mapas

La mayoría de las tareas que utilizan datos de viaje requieren detalle a nivel de calle, como medir el tráfico en carreteras o el transporte público. Sin embargo, todos los modelos que revisamos se basaron en cuadrículas que no representaban con precisión las redes viales, causando que muchos viajes fueran poco realistas. Para resolver esto, añadimos un paso para hacer coincidir todos los viajes generados con la carretera más cercana, asegurándonos de que sigan caminos reales.

#Enrutamiento como Línea Base

En nuestras comparaciones, utilizamos el enrutamiento como línea base. Herramientas de enrutamiento como Google Maps utilizan redes viales reales para crear rutas eficientes. Sin embargo, estas herramientas no siempre reflejan lo que los usuarios reales eligen ya que no pueden tener en cuenta todas las preferencias individuales. Por ejemplo, un ciclista puede tomar un camino más largo a través de un parque para evitar calles concurridas. Creemos que los modelos sintéticos necesitan proporcionar mejores resultados que los motores de enrutamiento para ser justificados.

#Longitudes de Viaje

Muchas evaluaciones existentes muestran que las longitudes de viaje generadas parecen adecuadas cuando se consideran de forma aislada. Pero si solo consideramos viajes que no fueron emparejados de manera realista, no refleja la verdadera distancia recorrida. Argumentamos que solo las longitudes de viaje emparejadas deberían considerarse valiosas.

Para detectar viajes poco realistas que tienen giros y vueltas innecesarias, necesitamos comparar longitudes en función de la distancia en línea recta entre los puntos de inicio y fin.

#Distribución Espacial

Medir la distribución espacial de los viajes requiere una cuadrícula bien definida. Una cuadrícula que sea demasiado grande puede no capturar los detalles que necesitamos. Sugerimos usar una cuadrícula lo suficientemente fina para capturar áreas específicas pero aún así computacionalmente viable. Para entender cómo fluye el tráfico en las carreteras, recopilaremos datos sobre cuántas veces se utiliza cada segmento de carretera.

#Encuesta de Preferencias Viales

Evaluamos además la detección de preferencias viales a través de una encuesta donde los participantes analizaron varios segmentos de carretera. Decidieron si cada carretera era "evitada", "preferida" o "no reconocible".

Seleccionamos carreteras basadas en sus puntuaciones de preferencia para enfocarnos en aquellas que eran demasiado preferidas o evitadas. La encuesta recopiló opiniones sobre estas carreteras para entender cuán bien los datos sintéticos reflejaban las preferencias reales de los usuarios.

#Evaluación del Flujo de Tráfico

Para evaluar qué tan bien los datos sintéticos capturaron el flujo de tráfico en intersecciones importantes, seleccionamos rutas populares de nuestro conjunto de datos. Comparamos los movimientos a través de estas intersecciones en los datos sintéticos y reales para ver qué tan bien coincidían. Una coincidencia exitosa significaría que los patrones de tráfico se representaron con precisión.

#Discusión y Conclusión

Los datos sintéticos prometen ser flexibles y privados. Sin embargo, nuestra investigación reveló información importante sobre lo que significa realmente la flexibilidad para los datos de viajes. Investigamos qué hace que los datos de viajes sean útiles y cómo se pueden medir, enfatizando la necesidad de métricas que reflejen los patrones de movimiento reales.

El examen de cinco modelos avanzados mostró una variedad de capacidades. AdaTrace fue el que mejor funcionó en general, permitiendo la identificación precisa de rutas preferidas. Los otros modelos, aunque mostraron cierto potencial, exhibieron diversas limitaciones que los hicieron menos confiables.

Nuestros hallazgos llevan a cuestionar si estos modelos realmente proporcionan beneficios significativos o si podrían hacer más daño al no generar resultados confiables. Deberíamos considerar si podemos obtener tanto alta flexibilidad como una sólida privacidad al mismo tiempo. Quizás, en lugar de intentar lograr una flexibilidad completa, deberíamos definir claramente para qué aplicaciones cada modelo es más adecuado.

Identificar este equilibrio es crucial para el futuro de los datos sintéticos. Puede ser particularmente útil para fines de desarrollo o para obtener ideas preliminares sobre datos en bruto antes de pasar a un análisis más controlado. En estos casos, el enfoque en mantener la precisión, especialmente en lo que respecta a tiempo y ubicación, debería tener prioridad sobre simplemente imitar los movimientos del mundo real.

#Validez de la Coincidencia de Mapas

La precisión en la coincidencia de mapas es importante para garantizar resultados válidos. Encontramos que para todos los conjuntos de datos, la coincidencia funcionó de manera efectiva para la mayoría de los viajes, con solo un pequeño número que falló completamente.

Para una coincidencia confiable, esperamos distancias cortas entre los puntos correspondientes en los conjuntos de datos emparejados y originales. Todos los modelos mostraron distancias razonables, apoyando la efectividad de la coincidencia de mapas en nuestro análisis.

#Visualización del Conjunto de Datos Original

Las visualizaciones mostraron la distribución espacial y ejemplos de viajes del conjunto de datos original, proporcionando contexto para entender los datos generados.

Este estudio revela las complejidades de generar datos de movilidad sintética y enfatiza la importancia de una evaluación adecuada. También resalta la necesidad de futuras investigaciones para explorar nuevos métodos y mejoras en este campo en crecimiento.