IFT2905 - Entrevues semi-structurées et Expériences Contrôlées

Mauvais guides d'entrevue

Avant d'entrer dans la théorie, lisez les deux guides d'entrevue suivants.

---

Qu'est-ce qu'une entrevue semi-structurée?

Les entrevues semi-structurées font partie de la phase Comprendre du processus de design centré sur l'utilisateur.

Ce sont des méthodes qualitatives : elles ne testent pas des hypothèses préétablies, elles cherchent à comprendre comment les gens pensent, agissent et ressentent.

Les entrevues qualitatives s'intéressent aux questions du type : « Qu'est-ce qui se passe? », « Comment les gens perçoivent X? », « Comment les gens utilisent X dans leur vie quotidienne? ».

La variation entre les participants n'est pas un problème c'est une source d'information.

---

Qui interviewer et où?

Qui interviewer?

Le choix des participants dépend de la question de recherche. On distingue plusieurs catégories :

Type	Description	Mise en garde
Utilisateurs potentiels	Ceux qui utiliseront directement le produit	Priorité dans la plupart des études
Communauté touchée	Membres de la famille, collègues, aidants	Souvent des décideurs; perspectives sur contraintes et ressources
Experts du domaine	Connaissent bien l'espace problématique	Souvent des « power users » ne représentent pas les débutants

Comment les recruter?

Médias sociaux, courriel, bouche-à-oreille (échantillonnage boule de neige), annonces en personne, dépliants. La méthode dépend de la population cible et du contexte de l'étude.

Entrevue vs entrevue contextuelle

---

Préparer le guide d'entrevue

Les quatre étapes

1. Définir la question de recherche principale idéalement en une seule phrase
2. Construire le guide autour de cet objectif
3. Garder en tête la durée prioriser ce qui est essentiel si le temps manque
4. Piloter le guide avant la première vraie entrevue

Structure du guide : introduction, approfondissement, conclusion

Ce qu'on cherche à couvrir

• Objectifs du participant dans l'espace problématique qu'est-ce qui les motive?
• Comportements quoi, quand, où, pourquoi et comment ils atteignent leurs objectifs
• Défis et frustrations et les solutions de contournement qu'ils ont trouvées
• « Pouvez-vous me montrer? » toujours une bonne idée

---

Types de questions

Un bon guide d'entrevue mobilise différents types de questions selon ce qu'on cherche à comprendre :

Type	Objectif	Exemple
Démographique	Antécédents et identité	« Quel est votre parcours professionnel? »
Définitionnelle	Comment le participant comprend une catégorie	« Pour vous, qu'est-ce qu'une bonne expérience numérique? »
Comportementale	Explorer les actions et expériences passées	« Décrivez-moi la dernière fois que vous avez utilisé cette application. »
Aspirationnelle	Espoirs et désirs pour le futur	« Dans un monde idéal, comment fonctionnerait cet outil? »
Explicative	Pourquoi les participants font quelque chose	« Pourquoi avez-vous choisi cette méthode plutôt qu'une autre? »
Émotionnelle	Explorer les sentiments et états affectifs	« Comment vous sentiez-vous pendant que vous utilisiez cet objet? »
Contextuelle	Le contexte et son influence sur le comportement	« Dans quel endroit utilisez-vous habituellement cette application? »
Sociale	Interactions avec les autres	« Est-ce que vous utilisez cette fonctionnalité avec d'autres personnes? »
Méta-perceptive	Comment on pense être perçu par les autres	« Comment pensez-vous que les autres vous perçoivent quand vous faites X? »

L'importance de la mémoire

Pour obtenir des données riches, il faut se concentrer sur des expériences concrètes passées, pas des généralités.

Les formulations comme « rappelle-toi une fois où... » ou « parle-moi d'un moment précis où... » ancrent la conversation dans le réel.

Une stratégie alternative est l'évocation par la photo : demander au participant d'apporter des photos liées au sujet pour servir de point de départ.

---

À faire et à éviter

Les quatre types de questions biaisées

En résumé

---

Éthique et bonne conduite

Avant l'entrevue

• Bien connaître le sujet et le groupe recruté
• Définir clairement les objectifs et ce qu'on peut laisser de côté si le temps manque
• Préparer le formulaire de consentement, l'outil d'enregistrement, le carnet de notes
• Toujours piloter le guide pratiquer avec un proche avant la première vraie entrevue
• Prévoir deux personnes si possible : un intervieweur et un preneur de notes

Pendant l'entrevue

• Faire en sorte que ça ressemble à une conversation, pas à un interrogatoire
• Obtenir le consentement éclairé et demander la permission d'enregistrer
• Permettre au participant de passer des questions ou de se retirer à tout moment
• Respecter le temps prévu ne pas dépasser
• Éviter les stéréotypes à propos des participants

Éthique et sujets sensibles

De Retour!

Annoter les guides catastrophiques

Maintenant que vous avez les concepts, revenez aux deux guides du début. Pour chaque question, identifiez quel(s) type(s) de biais elle illustre, et proposez une version corrigée.

---

Plan d'expérience

Choisissez un scénario

Méthodes empiriques

Quantitatif vs qualitatif

Les méthodes empiriques en IHM se divisent en deux grandes familles.

Pas une hiérarchie! Les deux sont essentielles, et elles se complètent.

Question de recherche	Méthode suggérée
« Qu'est-ce qui se passe? »	Qualitative
« Comment les gens perçoivent X? »	Qualitative
« Si les utilisateurs font X, est-ce que Y va se produire? »	Quantitative
« À quel point X influence-t-il Y? »	Quantitative
« Est-ce que X cause Y? »	Quantitative (expérience)

---

Conception expérimentale

Les bases de la conception expérimentale

Qu'est-ce qu'une étude expérimentale?

Une étude expérimentale comporte au moins une variable que le chercheur fait varier délibérément afin de tester une hypothèse de recherche. On distingue :

Qu'est-ce qu'une hypothèse de recherche?

Une hypothèse de recherche est une formulation précise d'un problème qui peut être directement testée par une investigation empirique

Une bonne hypothèse est :

• Précise pas vague ou générale
• Testable on peut concevoir une étude pour la vérifier
• Intéressante non évidente, apporte quelque chose de nouveau

Contrôler les variables confondantes

« Contrôler pour X » signifie prendre des mesures pour s'assurer que la variable X n'explique pas à elle seule les différences qu'on observe entre les conditions.

Si on ne contrôle pas X, on ne peut pas savoir si c'est la variable indépendante ou X qui produit l'effet mesuré.

Il existe trois stratégies principales :

• Fixer la variable maintenir sa valeur constante pour toutes les conditions (ex. toujours diffuser à 20h, toujours jouer à Minecraft)
• Assignation aléatoire répartir aléatoirement les sujets ou les conditions afin que la variation de la variable confondante soit distribuée également
• Blocage créer des « blocs » afin que chaque condition se produise un nombre égal de fois à l'intérieur d'un même bloc (ex. 3 diffusions gaming le soir, 3 Just Chatting le soir)

L'essai contrôlé randomisé (ECR)

L'assignation aléatoire est au cœur de ce qu'on appelle un essai contrôlé randomisé (ECR, ou RCT en anglais Randomized Controlled Trial).

C'est considéré comme le gold standard de la conception expérimentale pour établir des relations causales, particulièrement en médecine et en sciences sociales.

En IHM, les ECR stricts sont moins fréquents qu'en médecine il est souvent difficile d'aveugler les participants à la condition qu'ils expérimentent (on sait qu'on utilise Godot et non Unity).

Mais le principe de l'assignation aléatoire reste fondamental : sans elle, on ne peut pas éliminer l'hypothèse que des différences préexistantes entre les groupes expliquent les résultats observés.

---

Plans expérimentaux

Inter-sujets vs intra-sujets

Exemples concrets

---

Plans intra-sujets

Effets de report et contrebalancement

Dans un plan intra-sujets, l'ordre dans lequel les participants expérimentent les conditions peut lui-même influencer les résultats.

C'est ce qu'on appelle un effet de report (carryover effect) ou effet d'ordre.

Combien d'ordres uniques?

Solution : le carré latin

Un carré latin organise N conditions sur N participants de façon à ce que chaque condition apparaisse exactement une fois par position et une fois par participant.

On contrebalance ainsi sur deux dimensions avec seulement N participants au lieu de N!.

Le carré latin équilibré

Dans un carré latin équilibré, chaque condition précède et suit chaque autre condition un nombre égal de fois.

Pour un nombre pair de conditions, N rangées suffisent. Pour un nombre impair, il faut doubler 2N rangées, donc 2N participants minimum.

Le carré latin dans une conception expérimentale sur le streaming

Le carré latin ne sert pas uniquement au contrebalancement intra-sujets.

On peut l'appliquer à des études où on veut équilibrer deux dimensions qui ne sont pas des participants par exemple, des jours de la semaine et des semaines du calendrier :

---

Taille d'échantillon

Analyse de puissance

Pour déterminer combien de participants recruter, on effectue une analyse de puissance avant l'étude. Quatre éléments sont nécessaires :

1. Le test statistique

Le choix du test dépend de la structure de l'étude :

Situation	Test courant
2 groupes indépendants (inter-sujets), 1 VD continue	t-test indépendant
2 conditions, mêmes participants (intra-sujets), 1 VD continue	t-test apparié
3 conditions ou plus, inter-sujets	ANOVA à un facteur
3 conditions ou plus, intra-sujets	ANOVA à mesures répétées
2 VI ou plus (plan factoriel)	ANOVA factorielle
Variable dépendante binaire (ex. succès/échec)	Régression logistique, test chi-carré

2. Le niveau de signification (valeur p)

La valeur p est la probabilité de conclure qu'un effet existe alors qu'il n'existe pas réellement un faux positif (erreur de type I). Par convention en sciences humaines :

3. La puissance statistique

La puissance est la probabilité de détecter un effet qui existe réellement l'inverse d'un faux négatif (erreur de type II).

Une puissance de 0.80 signifie qu'on a 80% de chances de détecter l'effet si celui-ci est présent.

4. La taille de l'effet

La taille de l'effet est une estimation de la force de la relation entre les variables indépendamment de la taille de l'échantillon.

Plus l'effet attendu est petit, plus il faut de participants pour le détecter. Différentes métriques selon le test :

---

Expériences en ligne

Tests A/B

Un test A/B est une forme d'expérience inter-sujets menée à grande échelle sur des plateformes en ligne.

50% des visiteurs voient la variation A, 50% voient la variation B. On mesure ensuite une variable dépendante (clics, conversions, durée de session, etc.).

En termes de structure, un test A/B est un ECR à grande échelle : l'assignation aux conditions est aléatoire, il y a un groupe expérimental (B) et un groupe contrôle (A), et on mesure un effet causal.

C'est l'une des rares situations en IHM où on peut mener quelque chose qui ressemble à un essai contrôlé randomisé avec des dizaines de milliers de participants réels, dans leur contexte naturel, sans recrutement explicite.

Les tests A/B permettent de recueillir des données sur des millions d'utilisateurs réels. Mais ils comportent des limites importantes :

• Des améliorations incrémentales locales peuvent mener à une expérience globale moins satisfaisante
• On optimise facilement pour des métriques courtes-vues (clics) au détriment d'objectifs à long terme
• Il est difficile de tester des changements de design radicaux seules les petites variations sont comparables
• Les utilisateurs peuvent se comporter différemment sachant (ou devinant) qu'ils font partie d'un test

Validité de l'étude

Menaces à la validité

Une étude bien conçue doit réfléchir à deux types de validité :