Misurare le dinamiche tra acquirente e venditore nei marketplace online

Nei marketplace online, capire come i compratori interagiscono con i venditori è fondamentale per migliorare le loro esperienze. Questo articolo esplora come possiamo misurare gli effetti delle modifiche fatte per i compratori sui risultati dei venditori. Utilizzando un metodo specifico chiamato esperimento bipartito, possiamo raccogliere dati su queste interazioni e trarre conclusioni utili.

#Cos'è un Esperimento Bipartito?

Gli Esperimenti Bipartiti coinvolgono due gruppi diversi: un gruppo che riceve un trattamento o una modifica (chiamati unita' di diversione) e un altro gruppo per il quale misuriamo i risultati (chiamati unita' di esito). Nel caso di un marketplace, le unita' di diversione potrebbero essere i compratori che vedono nuove funzionalità, mentre le unita' di esito potrebbero essere i venditori i cui prodotti quei compratori hanno visualizzato o con cui hanno interagito.

Gli esperimenti tradizionali di solito assegnano i partecipanti casualmente a gruppi di trattamento o controllo. Qui, però, siamo interessati a come le interazioni tra i due gruppi influenzano i risultati. L'idea chiave è che i cambiamenti mirati ai compratori potrebbero influenzarli, ma possono anche avere un impatto sui venditori, ed è qui che entrano in gioco gli esperimenti bipartiti.

#Perché Usare Dati In-Experiment?

La maggior parte degli studi si basa su dati storici o conoscenze pregresse per la loro analisi. Tuttavia, questo approccio potrebbe non rispecchiare le condizioni reali in un marketplace affollato. Proponiamo di utilizzare dati raccolti durante l'esperimento stesso. Facendo così, possiamo creare un quadro più accurato su come compratori e venditori interagiscono in tempo reale.

Ad esempio, se un compratore visualizza un oggetto di un venditore, quell'interazione può essere conteggiata. Se più compratori sono coinvolti con i prodotti di un venditore, possiamo vedere come il trattamento influisca sui risultati del venditore analizzando queste interazioni.

#Costruire il Grafo Bipartito

Per visualizzare queste interazioni, costruiamo un grafo bipartito. Questo grafo collega compratori a venditori in base alle loro interazioni. Ad esempio, se un compratore guarda un articolo di un venditore o lo aggiunge ai preferiti, si crea un collegamento nel grafo. Più forte è la connessione (più interazioni), più ci aspettiamo che il trattamento influisca sui risultati del venditore.

Nel nostro lavoro, ci concentriamo sui venditori come unita' di esito. Questo significa che, quando conduciamo un esperimento dal lato dei compratori, dobbiamo valutare accuratamente come i cambiamenti influenzano i venditori senza sapere in anticipo quali compratori interagiranno con quali venditori.

#Metodi per Analizzare i Risultati

Una volta che abbiamo il nostro grafo bipartito, possiamo analizzarlo utilizzando diversi metodi statistici per scoprire gli effetti causali del nostro trattamento sui venditori.

#Primo Metodo: Estimatore Lineare Pesato per Esposizione

Questo metodo si concentra su quanto ciascun venditore è stato esposto al trattamento. Calcolando i risultati medi dei venditori in base alla loro esposizione ai compratori trattati, possiamo stimare l'impatto del trattamento. Tuttavia, questo metodo può essere complicato e potrebbe richiedere risorse computazionali significative per gestire grandi quantità di dati.

#Secondo Metodo: Estimatore Basato su Regressione

Un altro metodo è utilizzare l'analisi della regressione. Questo approccio si basa sulle relazioni tra i risultati dei venditori e la loro esposizione al trattamento. Consente calcoli più semplici e può incorporare dati pre-esperimento per ridurre la variabilità nelle stime. Questo è particolarmente utile perché i dati storici possono aiutarci a capire come i venditori si sono comportati prima dell'inizio dell'esperimento.

#Terzo Metodo: Approccio Giustificato per Covariate

Il terzo metodo estende l'approccio di regressione regolando altri fattori che potrebbero influenzare i risultati. Questa tecnica può aiutarci a tenere conto di elementi come le performance del venditore prima dell'esperimento, portando a stime più accurate degli effetti del trattamento.

#Progettazione Sperimentale in Pratica

Per applicare questi metodi in modo efficace, abbiamo esaminato un caso reale in un popolare marketplace di seconda mano. In questo marketplace, numerosi esperimenti dal lato dei compratori vengono condotti regolarmente. Il nostro obiettivo era valutare come le modifiche fatte per migliorare le esperienze dei compratori avrebbero influito sui venditori.

Abbiamo condotto un esperimento con circa 20 milioni di utenti, concentrandoci su come i compratori interagiscono con i venditori. Diverse interazioni dei compratori, come visualizzare articoli o aggiungerli ai preferiti, hanno generato diversi tipi di dati che sono stati poi utilizzati per costruire il nostro grafo bipartito.

#Risultati dell'Esperimento

Le nostre scoperte hanno mostrato che gli effetti causali stimati variavano a seconda di come era costruito il grafo bipartito. Quando abbiamo usato dati sulle visualizzazioni degli articoli, le stime dell'effetto del trattamento erano generalmente inferiori rispetto a quando ci siamo basati sugli eventi di preferiti. Questo solleva domande su come queste interazioni influenzino i risultati dei venditori e suggerisce che il comportamento dei compratori giochi un ruolo complesso.

#Fiducia nelle Nostre Stime

Una preoccupazione con qualsiasi metodo statistico è l'incertezza attorno alle stime. Utilizzando tecniche di bootstrapping, siamo riusciti a creare intervalli di confidenza, che ci aiutano a capire l'intervallo in cui potrebbe cadere il nostro vero effetto del trattamento.

Nel nostro caso, abbiamo osservato che, mentre le nostre stime di regressione erano coerenti tra i metodi, mostrano intervalli di confidenza più ampi. Questa incertezza è qualcosa che dobbiamo considerare, specialmente quando prendiamo decisioni nel mondo reale basate su queste stime.

#Andando Avanti

Da questo lavoro, vediamo nuove possibilità entusiasmanti. La costruzione del nostro grafo bipartito usando dati in tempo reale mostra che è fattibile misurare effetti causali in un marketplace dinamico.

Andando avanti, intendiamo esplorare ulteriormente come la mediazione-dove un fattore influenza un altro-gioca un ruolo in queste interazioni. Ad esempio, comprendere come le interazioni dei compratori con gli articoli siano mediatori per i risultati dei venditori potrebbe fornire approfondimenti più profondi.

In sintesi, il nostro studio evidenzia che non è solo importante considerare gli effetti immediati delle modifiche fatte per i compratori, ma anche capire come queste modifiche risuonino con i venditori. Utilizzando dati in-experiment per costruire i nostri grafi bipartiti, possiamo ottenere una comprensione più ricca delle dinamiche di mercato in gioco, portando infine a decisioni migliori per entrambi, compratori e venditori.

#Conclusione

In conclusione, l'approccio di utilizzare dati in-experiment tramite esperimenti bipartiti offre un modo potente per analizzare le interazioni tra compratori e venditori nei marketplace online. Applicando vari metodi statistici, possiamo misurare gli effetti causali in modo efficace e accurato. Quest'area di ricerca è ancora in sviluppo e ci sono molte opportunità per perfezionare i nostri metodi e esplorare ulteriormente le relazioni tra i partecipanti al marketplace. Con la tecnologia che evolve costantemente, la nostra comprensione di queste dinamiche sarà cruciale per le future strategie di marketplace.