Trasformare i dati di ricerca di Google in previsioni

Ogni giorno, milioni di persone si rivolgono a Google Search per trovare informazioni su vari argomenti, dalle auto nuove ai sintomi dell'influenza. Le parole che digitano nella barra di ricerca contengono informazioni importanti su cosa stanno cercando e cosa stanno facendo. Tuttavia, interpretare questi termini di ricerca non è stato facile. Di solito, gli utenti hanno usato categorie per filtrare i dati di ricerca, ma questo metodo spesso perde molti dettagli.

In questo studio, introduciamo un nuovo modo per condensare i dati di ricerca in una dimensione più piccola mantenendo le informazioni essenziali dai singoli termini, senza fare affidamento su categorie definite dagli utenti. Il nostro approccio include due idee principali: prima, proponiamo un metodo chiamato SLaM Compression, che utilizza modelli linguistici pre-addestrati per creare un riassunto dei dati di ricerca. Secondo, presentiamo un modello chiamato CoSMo, che stima eventi nel mondo reale usando solo i dati di ricerca. Mostriamo che i nostri metodi possono prevedere con precisione le vendite di auto negli Stati Uniti e i tassi di influenza usando solo i dati di Google Search.

#L'importanza dei dati di ricerca di Google

Google Search è il motore di ricerca leader a livello globale, fornendo una marea di informazioni sui termini che gli utenti cercano e la loro connessione a eventi del mondo reale, come comportamenti di acquisto, attività economica o tendenze sanitarie. La ricerca ha già dimostrato che i dati di ricerca di Google possono migliorare previsioni e modelli. I metodi attuali utilizzano principalmente due tipi di dati: Google Trends e log di ricerca.

Google Trends organizza i termini di ricerca in categorie e fornisce un valore indice per il volume delle ricerche in base alla categoria per giorni e regioni specifiche. Sebbene utile, questo metodo tratta query diverse come se appartenessero allo stesso gruppo, limitando la profondità dell'analisi. Ad esempio, raggruppa tutte le ricerche relative alle auto senza distinguere tra i tipi di auto. I ricercatori hanno utilizzato questi dati per prevedere attività economiche e altre tendenze, ma di solito si affidano a informazioni aggiuntive, come dati storici sulle vendite.

D'altra parte, i log di ricerca contengono coppie di termini di ricerca e quante volte sono stati cercati nel tempo. Anche se i log offrono dati più dettagliati, presentano anche sfide a causa del gran numero di termini unici, rendendo difficile convertire questi dati in caratteristiche gestibili per i modelli. Alcuni ricercatori hanno filtrato i termini o usato l'one-hot encoding per ricerche specifiche per renderli più digeribili.

Nel nostro lavoro, puntiamo a riassumere i log di ricerca in modo più efficace, permettendoci di usarli per compiti di previsione senza bisogno di filtri estesi.

#Il nostro approccio

Dividiamo la nostra strategia di modellazione usando i dati di ricerca in due parti principali: 1) condensare i dati di ricerca in caratteristiche utili e 2) selezionare un modello adatto a queste caratteristiche.

Utilizziamo modelli linguistici per ridurre la complessità dei dati di ricerca mantenendo informazioni significative. Invece di mappare i termini di ricerca in vettori binari, usiamo modelli linguistici per rappresentare i termini come punti in uno spazio ad alta dimensione. Combiniamo poi questi termini di ricerca in un unico vettore rappresentativo, che chiamiamo search embedding.

Con questo framework, possiamo creare automaticamente search embeddings senza aver bisogno di filtri definiti dagli utenti, permettendo flessibilità nel periodo utilizzato per l'analisi. Il nostro metodo fornisce una rappresentazione efficiente in termini di memoria dei dati di ricerca che è comunque molto efficace per la previsione.

#SLaM Compression

SLaM Compression funziona prendendo tutte le ricerche all'interno di un periodo specifico e condensandole in un vettore di lunghezza fissa che riassume tutti i termini di ricerca. Ogni termine di ricerca è trasformato in un vettore di lunghezza fissa da un modello linguistico, permettendoci di raggruppare termini simili in base al loro significato.

Questo processo ci aiuta a catturare le sfumature dei termini di ricerca senza generare una quantità eccessiva di dati. Il nostro metodo di compressione non richiede di filtrare i termini di ricerca in anticipo, consentendoci di lavorare con dataset più grandi senza perdere informazioni importanti.

Suddividiamo la nostra rappresentazione in due parti: il volume totale di ricerche e l'embedding di ricerca normalizzato. Sfruttando i dati sul volume di ricerca insieme ai nostri search embeddings, possiamo stabilire connessioni tra i singoli termini di ricerca e tendenze più ampie.

#Modello CoSMo

Il modello CoSMo è progettato per prevedere eventi reali utilizzando gli search embeddings che generiamo. Invece di fare affidamento su filtri complessi o categorizzazioni, CoSMo utilizza un approccio più semplice che permette flessibilità nei dati analizzati.

Usando gli search embeddings, CoSMo restituisce un punteggio che indica la probabilità che un determinato evento si verifichi in base ai termini di ricerca degli utenti. La flessibilità del nostro modello gli consente di adattarsi a diverse regioni e periodi di tempo, portando a previsioni più accurate.

#Applicazioni nel mondo reale

Testiamo i nostri metodi usando due esempi nel mondo reale: prevedere i tassi di influenza e le vendite di auto negli Stati Uniti. Attraverso questi casi studio, dimostriamo come il nostro approccio possa migliorare significativamente l'accuratezza delle previsioni basate esclusivamente sui dati di ricerca.

#Prevedere le vendite di auto negli Stati Uniti

Quando prevediamo le vendite di auto, confrontiamo i nostri risultati con metodi esistenti. Usando i nostri search embeddings, miglioriamo l'accuratezza dal circa 58% al 75%. Questo significa che il nostro modello riesce a catturare meglio la connessione tra le query di ricerca e i dati di vendita effettivi.

Il nostro modello può tener conto delle differenze regionali nel comportamento di ricerca e nell'adozione, rendendolo più adattabile e preciso in vari contesti. Con il nostro metodo, abbiamo previsto con successo le tendenze delle vendite senza fare affidamento su dati storici o variabili esterne, il che suggerisce che il nostro approccio può avere potenziale per previsioni economiche più ampie.

#Prevedere i tassi di influenza

Per la previsione dell'influenza, modelliamo i tassi di Influenza-Like Illness (ILI) a livello nazionale. Utilizziamo i dati di Google Search relativi ai sintomi influenzali per prevedere i tassi di influenza nel corso di diversi anni.

Il nostro modello si comporta bene, stimando i tassi di influenza effettivi da vicino e dimostrando il potenziale dei dati di ricerca per fornire informazioni sulle tendenze della salute pubblica. A differenza dei metodi tradizionali che spesso si basano su dati storici e fattori esterni, il nostro modello utilizza solo i modelli di ricerca, evidenziando l'efficacia del nostro approccio nel monitoraggio della salute pubblica.

#Prestazioni del modello e test

Valutiamo i nostri metodi in dettaglio utilizzando vari set sperimentali. Per le previsioni delle vendite di auto e dell'influenza, confrontiamo le nostre prestazioni con modelli e metodi precedenti per mostrare i miglioramenti che il nostro approccio porta.

#Esperimenti sulle vendite di auto

Confrontiamo il nostro modello con modelli esistenti nella previsione delle vendite di veicoli. Osserviamo un notevole aumento dell'accuratezza predittiva quando utilizziamo i nostri search embeddings rispetto ai metodi di classificazione tradizionali. Anche con una struttura di modello semplice, il nostro metodo riesce a catturare relazioni complesse tra il comportamento di ricerca e i risultati di vendita.

#Esperimenti sui tassi di influenza

Per le previsioni dei tassi di influenza, conduciamo esperimenti simili. Il nostro metodo funziona meglio di altri modelli che utilizzano solo dati di ricerca. Esploriamo anche diverse variazioni del nostro modello per identificare configurazioni ottimali, ottimizzando le prestazioni per diverse stagioni influenzali.

#Insights dal modello

Un aspetto prezioso del nostro approccio è l'interpretabilità del modello. Possiamo analizzare come i singoli termini di ricerca contribuiscono alle previsioni complessive, permettendoci di capire i fattori che guidano il comportamento di ricerca e le loro implicazioni per eventi del mondo reale.

Esaminando i termini di ricerca associati a punteggi elevati, riveliamo come gli utenti interagiscono con i motori di ricerca in relazione ai sintomi influenzali. Questo insight non solo aiuta a perfezionare il nostro modello, ma informa anche strategie di salute pubblica e approcci di marketing.

#Gestire errori di ortografia e variabilità

Il nostro metodo si dimostra in grado di gestire compiti come errori di ortografia e sinonimi in modo efficace. I modelli linguistici che utilizziamo possono comprendere variazioni dei termini di ricerca, aumentando la robustezza e l'affidabilità del nostro modello.

#Direzioni future

Sebbene abbiamo dimostrato il potenziale dei nostri metodi, ci sono ancora opportunità per ulteriori esplorazioni e affinamenti. Non vediamo l'ora di applicare il nostro approccio ad altre aree e affinare i nostri modelli per ottenere ancora maggiore accuratezza e flessibilità.

#Espandere ad altre aree

Crediamo che i metodi che abbiamo sviluppato possano essere utili in molte altre aree oltre alla previsione dell'influenza e delle vendite di auto. Il nostro approccio potrebbe essere esteso a vari settori, tra cui il commercio al dettaglio, gli sport e altro, attingendo dalle ricche informazioni fornite dai dati di ricerca di Google.

#Miglioramenti e adattamenti

Man mano che la tecnologia evolve, continueremo ad adattare i nostri metodi per sfruttare i progressi nella modellazione linguistica e nell'apprendimento automatico. Integrando nuovi strumenti e tecniche, possiamo perfezionare i nostri modelli, migliorare le loro capacità predittive e fornire insight più precisi sul comportamento dei consumatori e sulle tendenze.

#Conclusione

Il nostro studio illustra il valore significativo dei dati di ricerca di Google nella creazione di modelli predittivi. Sviluppando SLaM Compression e CoSMo, abbiamo trovato modi per riassumere i dati di ricerca in modo efficace mantenendo informazioni essenziali. Questi metodi non solo migliorano il potere predittivo in vari contesti, ma forniscono anche insight interpretabili che possono informare il processo decisionale.

Man mano che procediamo, puntiamo ad espandere l'applicabilità del nostro approccio, dimostrando la versatilità e la forza dell'uso dei modelli linguistici per comprendere e prevedere eventi del mondo reale attraverso i dati di ricerca. Con miliardi di ricerche effettuate ogni giorno, ci sono innumerevoli opportunità per sfruttare queste informazioni per previsioni e insight migliori in vari settori.