Ripensare la valutazione nella ricerca progettuale

Molti approcci per valutare la ricerca sul design spesso assumono che i prototipi siano finiti e pronti per i test. Tuttavia, valutare i design durante le fasi iniziali con prototipi a media fedeltà può fornire intuizioni preziose. Questo tipo di valutazione può aiutare a informare il Processo di Design e beneficiare la comunità di ricerca più ampia. Proponiamo un nuovo concetto chiamato "situazioni formative" per esplorare questi prototipi a media fedeltà. Questo approccio sottolinea l'importanza di valutare i design in corso e incoraggia discussioni aperte su come incorporare le valutazioni formative come parte valida della ricerca sul design.

#La Necessità di Situazioni Formative

Nella comunità di Interazione Uomo-Computer (HCI), le valutazioni sommative sono spesso prioritarie rispetto a quelle formative. Le valutazioni sommative mirano a valutare quanto bene un design funzioni, mentre le valutazioni formative si concentrano sulla raccolta di intuizioni che possono guidare i miglioramenti del design. Ci sono due motivi principali per questa preferenza: primo, molti ricercatori potrebbero non riconoscere pienamente il valore delle valutazioni formative, e secondo, i revisori a volte confondono le valutazioni formative con quelle sommative, applicando standard inappropriati a queste ultime.

Questa confusione è in parte dovuta alla mancanza di metodi consolidati per valutare i design durante le loro fasi formative. Per affrontare questo problema, introduciamo le "situazioni formative", che comportano un esame dettagliato dei prototipi a media fedeltà. Queste situazioni non sono solo valutazioni preliminari ma forniscono intuizioni preziose che contribuiscono alla comunità di ricerca.

#Valutare i Prototipi in HCI

Le valutazioni formative sono fondamentali nella ricerca HCI. I libri di testo spesso trattano adeguatamente sia le valutazioni formative che quelle sommative come parti vitali delle conoscenze HCI. Tuttavia, molti corsi di HCI tendono a enfatizzare le valutazioni sommative, concentrandosi su studi di campo o esperimenti controllati in laboratorio. Questa enfasi sulla valutazione sommativa continua anche nei luoghi di pubblicazione HCI, dove gran parte dell'attenzione va a studi che valutano quanto bene un design funzioni in contesti reali.

Questa tendenza solleva una domanda importante: è appropriato concentrarsi esclusivamente sulle valutazioni sommative? Sosteniamo che gran parte del lavoro di design in HCI spesso rientra nella categoria dei prototipi a media fedeltà, che sarebbero meglio valutati attraverso valutazioni formative. Molti prototipi creati dai ricercatori non sono prodotti completamente funzionanti. Potrebbero essere incompleti o instabili, eppure vengono comunque valutati sommativamente, sia in contesti di laboratorio controllati che testandoli in scenari reali.

E se spostassimo il nostro focus sulla valutazione dei prototipi a media fedeltà in contesti appropriati? Le situazioni formative potrebbero esistere in uno spazio che è parte artificiale, permettendo ai designer di affrontare la funzionalità del prototipo, e parte situato in contesti reali. Riformulando il nostro approccio, potremmo raccogliere Feedback e intuizioni più sfumati che potrebbero beneficiare i processi di design.

#Quadro per le Situazioni Formative

Le situazioni formative offrono un metodo di valutazione flessibile che può attingere a tecniche consolidate tipicamente usate nelle valutazioni sommative. Tuttavia, consentono anche misure provvisorie che si adattano al contesto specifico e agli obiettivi della ricerca. Molti progetti HCI potrebbero beneficiare dell'inclusione di fasi di valutazione formativa nei loro cicli di design, producendo conoscenze preziose per la comunità più ampia. Richiedendo valutazioni sommative per la pubblicazione, i ricercatori affrontano la pressione di condurre rapidamente queste valutazioni, spesso prima che i design siano pronti.

Per affrontare questo, suggeriamo che le valutazioni formative siano considerate come contributi validi al processo di ricerca. Invece di affrettarsi a valutazioni sommative, i ricercatori potrebbero prendersi il tempo per creare valutazioni formative che forniscano intuizioni significative. Consentire contributi condivisibili dalle valutazioni formative potrebbe favorire la collaborazione tra le comunità di ricerca, poiché le intuizioni generate in diverse fasi di design possono informare ulteriori sviluppi.

#Rigorosità nella Ricerca Scientifica

Il concetto di rigorosità nel lavoro scientifico è stato dibattuto in HCI per anni. L'HCI è un campo interdisciplinare, che attinge a vari domini, inclusi scienza informatica, psicologia, design e sociologia. Ogni sotto-disciplina ha i propri metodi accettati, portando a varie comprensioni di cosa costituisca un lavoro rigoroso. I meccanismi distintivi attraverso i quali viene generata la conoscenza differiscono anche, spaziando da discussioni teoriche a casi d'uso specifici.

All'interno dell'HCI, i contributi possono essere categorizzati come empirici, concettuali o costruttivi. Mentre la ricerca empirica si concentra sulla descrizione di fenomeni reali, la ricerca concettuale spiega le connessioni tra diversi fenomeni, e la ricerca costruttiva produce conoscenza su come creare artefatti interattivi. Molti contribuiti nelle conferenze HCI, come la Conferenza ACM CHI, si concentrano principalmente sulla ricerca empirica, il che può creare un ciclo di rinforzo. I ricercatori in fase iniziale possono assumere che il lavoro empirico sia lo standard d'oro basato sulla prevalenza di tali articoli.

#Pratiche di Valutazione Correnti in HCI

I metodi di valutazione HCI traggono ispirazione da vari campi. Gli studi empirici spesso incorporano il metodo scientifico e tecniche di psicologia sperimentale. Negli studi controllati, i ricercatori mirano a isolare la causalità e comprendere come specifiche interventi portino a certi comportamenti o emozioni. Anche se gli studi HCI possono non coinvolgere tanti partecipanti quanto le sperimentazioni cliniche in medicina, spesso si sforzano di raggiungere una rigorosità simile.

Gli studi di campo forniscono un'altra opportunità per la valutazione, consentendo ai ricercatori di testare artefatti in contesti reali con gli utenti. Tuttavia, gli studi di campo presentano sfide, in quanto non possono tenere conto di tutti i fattori esterni, rendendo difficile stabilire chiare relazioni di causa ed effetto. Al contrario, le situazioni formative si concentrano sull'interazione con gli utenti per raccogliere feedback, senza la struttura rigida degli esperimenti tradizionali.

#Il Ruolo delle Situazioni Formative

Le situazioni formative servono come metodo per generare intuizioni durante il processo di design. Piuttosto che mirare a un prodotto finito, queste situazioni forniscono un contesto in cui i partecipanti interagiscono con prototipi a media fedeltà, fornendo feedback ricco. Questo approccio consente una comprensione più sfumata delle esigenze, delle sfide e delle esperienze degli utenti, che può essere vitale per informare future iterazioni di design.

#Criteri Proposti per le Situazioni Formative

Per guidare la creazione e la valutazione delle situazioni formative, proponiamo un insieme di criteri. Questi criteri sono progettati per aiutare i ricercatori a sviluppare situazioni che suscitino feedback prezioso mantenendo trasparenza e adattabilità.

1. Ben Adattati alle Domande di Ricerca: La situazione formativa dovrebbe essere accuratamente allineata con le domande di ricerca. Dovrebbe essere descritta chiaramente in modo che i partecipanti vivano condizioni simili, consentendo ai ricercatori di contestualizzare efficacemente il feedback.

2. Attrae le Migliori Pratiche Correlate: I ricercatori dovrebbero delineare il loro processo di design e definire chiaramente la fase attuale del prototipo. La trasparenza è essenziale, ed è cruciale non presumere che tutti i contributi si trovino nella stessa fase di design.

3. Peso Appropriato in Proporzione al Prototipo: La situazione studiata dovrebbe corrispondere alla risoluzione di design dell'artefatto. Se un prototipo richiede supporto esteso, potrebbe non essere adatto per il testing sul campo.

4. Posizionamento del Designer: Le situazioni formative possono coinvolgere il designer-ricercatore in modo più fluido rispetto ai paradigmi sperimentali tradizionali. I ricercatori possono adattare la situazione in tempo reale in base alle risposte dei partecipanti, chiarendo i punti secondo necessità.

5. Ruolo Attivo dei Partecipanti: I partecipanti dovrebbero essere incoraggiati a impegnarsi attivamente nel processo di design. Il loro feedback dovrebbe andare oltre le impressioni di base per fornire intuizioni sui punti di forza, debolezza e aree di miglioramento del design.

#Valutare la Rigorosità nelle Situazioni Formative

Sebbene le situazioni formative offrano flessibilità, ci sono aspetti che dovrebbero essere considerati per mantenere la rigorosità. Gli valutatori possono utilizzare principi consolidati dagli studi empirici per valutare la validità delle situazioni formative.

#Trasparenza e Allineamento

La trasparenza nel processo di ricerca è fondamentale. I ricercatori dovrebbero fornire dettagli sufficienti per consentire una valutazione della fase di design e della fedeltà del prototipo. Se non esiste una trasparenza sufficiente, la situazione formativa potrebbe non essere valutata in modo appropriato.

#Allineamento con il Mondo Reale

Le situazioni formative dovrebbero attingere a esperienze del mondo reale, siano esse sociali o personali. Coinvolgere i partecipanti in contesti che rispecchiano le loro vite quotidiane può migliorare la validità ecologica. I ricercatori possono creare scenari che riflettono situazioni reali per raccogliere feedback più significativi.

#Gestione della Novità

I partecipanti dovrebbero essere in grado di interagire con il prototipo in un modo che incoraggi risposte genuine. Se la situazione è troppo nuova, i partecipanti potrebbero avere difficoltà a offrire feedback significativi. L'obiettivo è creare contesti che consentano ai partecipanti di fornire feedback sull'uso previsto, informando le future iterazioni di design.

#Profondità del Feedback

Il feedback di qualità è vitale nelle situazioni formative. I partecipanti dovrebbero fornire feedback ricco che vada oltre le impressioni superficiali. I designer possono facilitare questo processo coinvolgendo i partecipanti in discussioni, interviste o altri metodi per ottenere intuizioni più profonde.

#Conclusione: Un Invito all'Azione

In questa discussione sulle situazioni formative, proponiamo un approccio che enfatizzi il valore della valutazione dei prototipi a media fedeltà. Consentendo spazio per le valutazioni formative, possiamo favorire una comunità di design che valorizza la crescita e il feedback durante il processo di design.

I professionisti del settore desiderano intuizioni pratiche dalla comunità di ricerca. Le intuizioni ottenute dalle situazioni formative possono fornire conoscenze più azionabili rispetto alle valutazioni di prototipi incompleti. È essenziale rivalutare lo scopo della conoscenza di design che produciamo e gli stakeholder a cui serve.

Come comunità, dovremmo sfidare il nostro bias verso le valutazioni sommative. Accettando le valutazioni formative dei prototipi a media fedeltà come contributi validi, apriamo la porta a contributi di ricerca più diversificati e significativi. In futuro, speriamo di vedere le valutazioni formative riconosciute come rigorose ed essenziali per la generazione di conoscenza nel campo HCI.

Questa conversazione è solo l'inizio. Attraverso la collaborazione e il dialogo aperto, possiamo plasmare il panorama della ricerca sul design, rafforzando l'idea che non ogni design debba subire una valutazione sommativa per produrre intuizioni preziose. Incoraggiamo i ricercatori a condividere il loro lavoro formativo e coinvolgere la comunità per affinare la nostra comprensione di cosa costituisca una ricerca sul design rigorosa e impattante.