Repensons l'évaluation dans la recherche en design

De nombreuses approches pour évaluer la recherche en design supposent souvent que les prototypes sont finis et prêts à être testés. Cependant, évaluer les designs à des étapes antérieures avec des prototypes de fidélité intermédiaire peut aussi apporter des informations précieuses. Ce type d'évaluation peut aider à informer le processus de design et bénéficier à la communauté de recherche. On propose un nouveau concept appelé "situations formatives" pour explorer ces prototypes de fidélité intermédiaire. Cette approche souligne l'importance d'évaluer les designs en cours et encourage des discussions ouvertes sur la manière d'incorporer les évaluations formatives comme une partie valide de la recherche en design.

#Le besoin de situations formatives

Dans la communauté de l'interaction homme-machine (IHM), les évaluations sommatives sont souvent prioritaires par rapport aux évaluations formatives. Les évaluations sommatives visent à évaluer la performance d'un design, tandis que les évaluations formatives se concentrent sur la collecte d'informations qui peuvent guider les améliorations du design. Il y a deux principales raisons à cette préférence : premièrement, de nombreux chercheurs peuvent ne pas reconnaître pleinement la précieuse connaissance qui peut venir des évaluations formatives, et deuxièmement, les examinateurs confondent parfois les évaluations formatives et sommatives, appliquant des normes inappropriées à celles-ci.

Cette confusion est en partie due au manque de méthodes établies pour évaluer les designs durant leurs phases formatives. Pour remédier à ce problème, on introduit les "situations formatives", qui impliquent un examen détaillé des prototypes de fidélité intermédiaire. Ces situations ne se limitent pas à des évaluations préliminaires mais fournissent des informations précieuses qui contribuent à la communauté de recherche.

#Évaluer les prototypes en IHM

Les évaluations formatives sont fondamentales dans la recherche en IHM. Les manuels couvrent souvent à la fois les évaluations formatives et sommatives comme des parties vitales de la connaissance en IHM. Cependant, de nombreux cours en IHM tendent à mettre l'accent sur les évaluations sommatives, se concentrant sur des études de terrain ou des expériences en laboratoire contrôlées. Cette mise en avant de l'évaluation sommative continue dans les lieux de publication en IHM, où une grande partie de l'attention est portée sur des études qui évaluent comment un design fonctionne dans des contextes réels.

Cette tendance soulève une question importante : est-il approprié de se concentrer uniquement sur les évaluations sommatives ? On soutient que beaucoup de travaux de design en IHM tombent souvent dans la catégorie des prototypes de fidélité intermédiaire, qui devraient être mieux évalués par des évaluations formatives. De nombreux prototypes créés par des chercheurs ne sont pas des produits entièrement fonctionnels. Ils peuvent être incomplets ou instables, mais ils sont quand même évalués de manière sommative, que ce soit dans des environnements de laboratoire contrôlés ou en les testant dans des scénarios du monde réel.

Et si on décalait notre attention pour évaluer les prototypes de fidélité intermédiaire dans des contextes adaptés ? Les situations formatives pourraient exister dans un espace à la fois artificiel, permettant aux designers d'aborder la fonctionnalité du prototype, et situé dans des contextes réels. En reframant notre approche, on pourrait recueillir des retours et des informations plus nuancés qui pourraient bénéficier aux processus de design.

#Cadre pour les situations formatives

Les situations formatives offrent une méthode d'évaluation flexible qui peut s'appuyer sur des techniques établies généralement utilisées dans les évaluations sommatives. Cependant, elles permettent aussi des mesures provisoires qui s'ajustent au contexte spécifique et aux objectifs de la recherche. De nombreux projets en IHM pourraient bénéficier d'inclure des étapes d'évaluation formative dans leurs cycles de design, produisant des connaissances précieuses pour la communauté au sens large. En exigeant des évaluations sommatives pour la publication, les chercheurs ressentent la pression de mener rapidement ces évaluations, souvent avant que les designs ne soient prêts.

Pour aborder cela, on propose que les évaluations formatives soient considérées comme des contributions valables au processus de recherche. Au lieu de se précipiter vers des évaluations sommatives, les chercheurs pourraient prendre le temps de créer des évaluations formatives qui fournissent des informations significatives. Permettre des contributions partageables issues des évaluations formatives pourrait favoriser la collaboration entre les communautés de recherche, car les informations générées à différents stades de conception peuvent informer le développement futur.

#Rigueur dans la recherche scientifique

Le concept de rigueur dans le travail scientifique est débattu en IHM depuis des années. L'IHM est un domaine interdisciplinaire, tirant de différents domaines, y compris l'informatique, la psychologie, le design et la sociologie. Chaque sous-discipline a ses propres méthodes acceptées, entraînant diverses compréhensions de ce qui constitue un travail rigoureux. Les mécanismes distincts par lesquels la connaissance est générée diffèrent également, allant des discussions théoriques à des cas d'utilisation spécifiques.

Au sein de l'IHM, les contributions peuvent être catégorisées comme empiriques, conceptuelles ou constructives. Alors que la recherche empirique se concentre sur la description de phénomènes du monde réel, la recherche conceptuelle explique les connexions entre différents phénomènes, et la recherche constructive produit des connaissances sur la création d'artefacts interactifs. De nombreuses contributions lors des conférences IHM, comme la conférence ACM CHI, se concentrent principalement sur la recherche empirique, ce qui peut créer un cycle de renforcement. Les chercheurs en début de carrière peuvent supposer que le travail empirique est la référence ultime en raison de la prévalence de ce type d'articles.

#Pratiques d'évaluation actuelles en IHM

Les méthodes d'évaluation en IHM s'inspirent de divers domaines. Les études empiriques intègrent souvent la méthode scientifique et des techniques de psychologie expérimentale. Dans les études contrôlées, les chercheurs cherchent à isoler la causalité et à comprendre comment des interventions spécifiques entraînent certains comportements ou émotions. Bien que les études IHM ne comportent peut-être pas autant de participants que les essais cliniques en médecine, elles visent souvent une rigueur similaire.

Les études de terrain offrent une autre avenue pour l'évaluation, permettant aux chercheurs de tester des artefacts dans des contextes réels d'utilisation. Cependant, les études de terrain sont confrontées à des défis, car elles ne peuvent pas tenir compte de tous les facteurs externes, rendant difficile l'établissement de relations de cause à effet claires. En revanche, les situations formatives se concentrent sur l'engagement avec les utilisateurs pour recueillir des retours, sans la structure rigide des expériences traditionnelles.

#Le rôle des situations formatives

Les situations formatives servent de méthode pour générer des informations pendant le processus de design. Plutôt que de viser un produit fini, ces situations fournissent un contexte où les participants interagissent avec des prototypes de fidélité intermédiaire, fournissant des retours riches. Cette approche permet une compréhension plus nuancée des besoins, des défis et des expériences des utilisateurs, ce qui peut être vital pour informer les itérations de design futures.

#Critères proposés pour les situations formatives

Pour guider la création et l'évaluation des situations formatives, on propose un ensemble de critères. Ces critères sont conçus pour aider les chercheurs à développer des situations qui suscitent des retours précieux tout en restant transparentes et adaptables.

1. Bien aligné avec les questions de recherche : La situation formative devrait être soigneusement alignée avec les questions de recherche. Elle doit être clairement décrite afin que les participants vivent des conditions similaires, permettant aux chercheurs de contextualiser efficacement les retours.

2. S'appuie sur des meilleures pratiques connexes : Les chercheurs devraient décrire leur processus de design et définir clairement la phase actuelle du prototype. La transparence est essentielle, et il est crucial de ne pas présumer que toutes les contributions se trouvent au même stade de design.

3. Poids approprié en proportion du prototype : La situation étudiée devrait correspondre à la résolution de design de l'artefact. Si un prototype nécessite un support extensif, il pourrait ne pas être adapté pour un test sur le terrain.

4. Positionnement du designer : Les situations formatives peuvent impliquer le designer-chercheur de manière plus fluide par rapport aux paradigmes expérimentaux traditionnels. Les chercheurs peuvent adapter la situation en temps réel en fonction des réponses des participants, clarifiant les points au besoin.

5. Rôle actif du participant : Les participants devraient être encouragés à s'engager activement dans le processus de design. Leurs retours devraient aller au-delà des impressions de surface pour fournir des informations sur les forces, les faiblesses et les domaines d'amélioration du design.

#Évaluer la rigueur dans les situations formatives

Bien que les situations formatives offrent de la flexibilité, il y a des aspects qui devraient être pris en compte pour maintenir la rigueur. Les évaluateurs peuvent s'appuyer sur des principes établis issus d'études empiriques pour évaluer la validité des situations formatives.

#Transparence et alignement

La transparence dans le processus de recherche est primordiale. Les chercheurs devraient fournir suffisamment de détails pour permettre l'évaluation de la phase de design et de la fidélité du prototype. Si une transparence insuffisante existe, la situation formative peut ne pas être évaluée de manière appropriée.

#Alignement avec le monde réel

Les situations formatives devraient s'inspirer d'expériences du monde réel, qu'elles soient sociales ou personnelles. S'engager avec des participants dans des contextes qui reflètent leur vie quotidienne peut renforcer la validité écologique. Les chercheurs peuvent créer des scénarios qui reflètent des situations réelles pour recueillir des retours plus significatifs.

#Gestion de la nouveauté

Les participants devraient pouvoir interagir avec le prototype d'une manière qui encourage des réponses authentiques. Si la situation est trop nouvelle, les participants peuvent avoir du mal à offrir des retours perspicaces. L'objectif est de créer des contextes qui permettent aux participants de fournir des retours sur l'utilisation prévue, informant ainsi les itérations de design futures.

#Profondeur des retours

Des retours de qualité sont essentiels dans les situations formatives. Les participants devraient fournir des retours riches qui vont au-delà des impressions superficielles. Les designers peuvent faciliter ce processus en engageant les participants dans des discussions, des entretiens ou d'autres méthodes pour obtenir des informations plus profondes.

#Conclusion : Un appel à l'action

Dans cette discussion sur les situations formatives, on propose une approche qui met l'accent sur la valeur d'évaluer les prototypes de fidélité intermédiaire. En permettant de la place pour des évaluations formatives, on peut favoriser une communauté de design qui valorise la croissance et le retour d'information tout au long du processus de design.

Les praticiens de l'industrie souhaitent des informations pratiques de la part de la communauté de recherche. Les retours obtenus grâce aux situations formatives peuvent fournir des connaissances plus exploitables que les évaluations de prototypes non finis. Il est essentiel de reconsidérer le but des connaissances en design que nous produisons et les parties prenantes qu'elles servent.

En tant que communauté, nous devrions défier notre biais envers les évaluations sommatives. En acceptant les évaluations formatives de prototypes de fidélité intermédiaire comme des contributions valides, nous ouvrons la porte à des contributions de recherche plus diverses et significatives. À l'avenir, nous espérons voir les évaluations formatives reconnues comme rigoureuses et essentielles à la génération de connaissances dans le domaine de l'IHM.

Cette conversation n'est que le début. Grâce à la collaboration et au dialogue ouvert, nous pouvons façonner le paysage de la recherche en design, renforçant l'idée que chaque design n'a pas besoin de subir une évaluation sommative pour produire des informations précieuses. On encourage les chercheurs à partager leur travail formatif et à s'engager avec la communauté pour affiner notre compréhension de ce qui constitue une recherche en design rigoureuse et impactante.