Cosa significa "Taxi"?

Indice

Taxi è un nuovo strumento pensato per verificare quanto bene i modelli linguistici, tipo i chatbot, capiscono e mantengono le informazioni coerenti. Quando la gente impara qualcosa di nuovo, spesso lo collega a cose che già conosce. Ad esempio, se qualcuno scopre che un korat è un gatto, sa anche che è un mammifero e ha artigli.

Questo strumento, chiamato Taxi, si concentra sul garantire che quando un modello linguistico viene aggiornato con fatti nuovi, quei fatti si integrino correttamente con ciò che già conosce. Controlla quanto bene funzionano questi aggiornamenti ponendo molte domande in formato a scelta multipla.

Taxi include 11.120 domande riguardanti 976 cambiamenti su vari temi, come i tipi di animali e le loro caratteristiche. Gli obiettivi principali sono vedere se i modelli riescono a mantenere le informazioni coerenti dopo essere stati aggiornati.

I primi risultati mostrano che mentre i modelli possono mantenere un po' di coerenza, non se la cavano bene come gli esseri umani. Inoltre, i modelli sono migliori a mantenere le cose coerenti quando trattano argomenti meno comuni.