Le corps comme médium d’interaction dans le processus d’appropriation ou de résistance au dispositif de jeu vidéo

Isabel Colón de Carvajal 
et Sandra Teston-Bonnard 

Publié en ligne le 22 janvier 2020

Digital Object Identifier 10.25965/interfaces-numeriques.3464

Nous proposons une étude sur une session de jeu vidéo multi-joueurs sur le dispositif Kinect dans lequel le corps du joueur sert de contrôleur pour interagir avec le dispositif. Nous allons particulièrement nous focaliser sur le rôle central du corps des joueurs comme médium d’interaction homme-machine, dans le processus d’appropriation et de résistance du dispositif. L’analyse s’inscrit selon les principes de l'ethnométhodologie (Garfinkel 1967/2007), de l’analyse conversationnelle multimodale (Goodwin, 2000 ; Mondada, 2007, 2009 ; Nevile et al., 2014) et de la linguistique interactionnelle (Selting & Couper-Kuhlen, 2001 ; Mondada, 2008). Nous discuterons notamment le rôle et la place du geste en comparaison à l’expression corporelle en tant qu’unité linguistique de communication.

We propose a study on a multiplayer video game session on the Kinect device in which the player's body serves as a controller to interact with the device. We will focus particularly on the central role of the player's body as a human-machine interaction medium, in the process of appropriation and resistance of the device. The analysis follows the principles of ethnomethodology (Garfinkel 1967/2007), multimodal conversational analysis (Goodwin 2000, Mondada 2007, 2009, Nevile et al 2014) and interactional linguistics (Selting & Couper -Kuhlen 2001, Mondada 2008). In particular, we will discuss the role and place of gesture in comparison to bodily expression as a linguistic unit of communication.

Sommaire

Texte intégral

1. Introduction

Il est indéniable que les jeux vidéo occupent une place importante dans les rencontres sociales : on se retrouve en famille ou entre amis pour jouer ensemble, on joue en ligne avec ou contre d’autres joueurs, on expose son jeu sur des plateformes sociales telles que Twitter ou Youtube, etc. Les jeux vidéo deviennent donc un objet d’étude important pour l’analyse des relations sociales. D’autre part, étudier la manière dont on joue, permet aux développeurs de jeux de mieux connaître les besoins et les exigences des joueurs. Dans ce contexte, un nouveau champ de recherche s’est formé vers la fin du XXe siècle : Les game studies, un domaine de recherche interdisciplinaire dans les sciences humaines et sociales, s’intéressent à la fois aux jeux et aux joueurs.

Note de bas de page 1 :

EMCA: EthnoMethodology and Conversational Analysis.

Si les travaux sur les jeux vidéo sont très nombreux, l’EMCA1 ne s’y intéresse que depuis peu. Une grande partie des études concerne les jeux vidéo en ligne (Ducheneaut & Moore, 2004 ; Moore et al., 2007 ; Piirainen-Marsh & Tainio, 2009a et b ; Reeves, Brown & Laurier, 2009 ; Bennerstedt & Linderoth, 2009 ; Bennerstedt, 2013). Ces dernières années, les recherches portent également sur des formes de jeux en ligne particuliers tels que Let’s play sur Youtube (Marx & Schmidt, 2017) ou Twitch TV (Meyer, 2015 ; Recktenwald, 2017) ou bien sur mixed reality games (Reeves et al., 2015). Les analyses de l’interaction des joueurs qui jouent côte à côte ensemble sur un ou plusieurs écrans sont plus rares. On peut citer les travaux de Mondada (2011, 2012, 2013) qui se focalisent plus particulièrement sur la temporalité des différentes actions des joueurs sur l’écran et dans l’interaction. Baldauf-Quilliatre (2014a, 2014b, 2014c) s’intéresse à la manière dont les joueurs co-construisent un focus d’attention commun à travers des formats de tours. Aarsand (2010) et Colón de Carvajal (2015) s’interrogent sur le positionnement des joueurs comme « expert ». Tekin & Reeves (2017) et Colón de Carvajal (2016) étudient, sous des perspectives différentes, les particularités des jeux avec Kinect. Tekin & Reeves (2017) analysent ainsi la manière dont les spectateurs participent au jeu, tandis que Colón de Carvajal (2016) se focalise sur le joueur et la manière dont il s’approprie le jeu. Par ailleurs, Reeves et al. (2016) distinguent deux types d’analyses : celles qui s’intéressent aux jeux vidéo comme ressource pour l’interaction (notamment pour l’apprentissage de langue, voir Piirainen-Marsh, 2012) et celles qui se concentrent sur l’organisation des actions dans le jeu, notamment concernant la temporalité (Mondada, 2013), la coordination (Aarsand & Aronsson, 2009) ou la conduite des avatars (Bennerstedt & Ivarsson, 2010). Plus récemment, des études s’interrogent plus particulièrement sur le rôle des spectateurs dans les jeux vidéo (Tekin & Reeves, 2017 ; Baldauf-Quilliatre & Colón de Carvajal, 2017). Cet aspect nous paraît particulièrement important : dans nos corpus, tous les participants ne sont pas toujours en train de jouer. Mais ces personnes qui ne jouent pas participent pourtant au jeu et à l’interaction.

Ces travaux se sont principalement basés sur des contextes de jeu vidéo où les modalités de jeu s’appuient sur l’utilisation d’un contrôleur comme objet technique d’interaction à partir duquel le joueur anime son avatar dans l’univers du jeu. Finalement, nous observons peu d’études qui se sont intéressées à l’usage du corps comme contrôleur, le corps comme medium animé d’interaction. Les quelques recherches sur ce sujet ont été réalisées dans d’autres disciplines comme par exemple en psychologie, neuropsychologie, informatique ou encore en éducation, où les chercheurs vont étudier l’utilisation des contrôleurs (objet ou corps) dans la rééducation moteur chez les enfants et adultes, ou avec des pathologies neurologiques de type Alzheimer par exemple (Barnachon et al., 2012 ; Chang et al., 2011 ; Coville, 2015 ; Lange et al., 2011).

Dans cet article, nous allons donc particulièrement nous intéresser au rôle central du corps des joueurs comme médium animé d’interaction dans le processus d’appropriation ou de résistance au dispositif de jeu. Il s’agit en effet d’étudier une session de jeu vidéo qui se déroule sur le dispositif Kinect (Microsoft, 2010) disponible pour la console Xbox 360 (Microsoft, 2005). Après avoir présenté les caractéristiques de ce dispositif et le type de jeu joué par les participants dans cette session, nous proposerons une analyse linguistique et interactionnelle de six extraits choisis dans cette session de jeu sur Kinect. Notre analyse permettra ainsi :

a) d’enrichir nos analyses sur les modalités de jeu offertes au joueur pour animer son avatar ;

b) de mieux comprendre le travail d’appropriation (Flichy, 2008/2) ou de résistance parfois complexe de ce dispositif d’interaction homme-machine, et ce, du point de vue des joueurs. Effectivement, nous avons observé que « jouer aux jeux vidéo » avec son corps (et non plus seulement avec ses mains) ne va pas nécessairement de soi dans une pratique de jeu, et ce, même pour des joueurs identifiés comme « experts » de jeux avec manette.

c) d’analyser la reconfiguration des contextes d’activité et d’interaction (Duranti & Goodwin, 1992) due à ce dispositif de jeu dans lesquels sont engagés les participants.

d) de décrire le geste vs l’expression corporelle en tant que langage non verbal. L’analyse proposée ici permettra de rendre compte des différences entre un geste qui dirige la machine (l’avatar) et l’expression corporelle qui communique avec la machine (en réponse à l’avatar).

2. Données et approches méthodologiques

Note de bas de page 2 :

Page Web de l’équipe InSitu au laboratoire ICAR : http://icar.univ-lyon2.fr/pages/equipe1.htm (consulté le 23 juin 2016).

Note de bas de page 3 :

Page web du projet : http://citeres.univ-tours.fr/spip.php?article1267 (consulté le 23 juin 2016).

Les données utilisées pour notre article s’inscrivent dans un projet de recherche mené par des membres de l’équipe InSitu : « INteractions : SItuations, praTiques et oUtils » du laboratoire ICAR2. Ce projet, financé par le programme ANR « jeunes chercheurs » jusqu’en 2014, s’intitulait « Ludespace : les espaces du jeu vidéo en France »3. Il avait pour objectif de proposer un panorama et une cartographie des pratiques des jeux vidéo en France, dans une réflexion pluridisciplinaire menée entres des chercheurs issus de différents domaines en sciences humaines et sociales.

Note de bas de page 4 :

Bien que le dispositif de jeu Kinect sur Xbox 360 peut sembler aujourd’hui un peu dépassé par d’autres modalités d’immersion, notamment via la réalité virtuelle ou augmentée, il ressort de notre enquête nationale menée dans le cadre du projet ANR « Ludespace » que ce dispositif de jeu reste toujours utilisé par une partie de la population interrogée.

Une première partie des enregistrements a été réalisée entre le printemps et l’automne 2012. Nous avons au minimum deux vues d’une même situation de jeux vidéo : i) le joueur dans son espace ; ii) l’écran du joueur. Pour certaines situations, nous avons la vue supplémentaire des mains du joueur manipulant le contrôleur de la console (ou le clavier et la souris de l’ordinateur), et une source d’enregistrement audio. Dans cet article, nous analyserons une situation de jeu sur Kinect. Cette session de jeu vidéo nous permet d’analyser les pratiques de jeu de quatre joueurs lorsqu’ils incarnent corporellement le contrôleur pour interagir sur la console. Avec ce dispositif, le joueur utilise donc entièrement son corps pour animer et faire progresser son avatar dans les actions du jeu4.

Le jeu s’appelle Kinect Adventures : Reflex Ridge. Il s’agit de mini jeux collaboratifs ou en compétition. L’objectif principal est d’avancer sur un parcours aussi vite que possible tout en activant des objets ou en évitant des obstacles. Pour cela, les joueurs peuvent faire quatre actions avec leur corps : 1) sauter sur place pour aller plus vite ; 2) tendre ses bras pour gagner des balles (cf. image 1) ; 3) étirer ses bras d’avant en arrière pour activer une barre horizontale (cf. image 2) ; 4) se pencher ou s’accroupir pour éviter des obstacles (cf. image 3).

Image 1 : Tendre ses bras pour gagner des balles

Image 1 : Tendre ses bras pour gagner des balles

Image 2 : Étirer ses bras d’avant en arrière pour activer une barre horizontale

Image 2 : Étirer ses bras d’avant en arrière pour activer une barre horizontale

Image 3 : Se pencher ou s’accroupir pour éviter des obstacles

Image 3 : Se pencher ou s’accroupir pour éviter des obstacles

Pour cette étude, nous avons analysé trois sessions de jeu mettant en compétition deux participants à chaque fois :

  • Session de jeu 1 : Lucas contre Dominique (durée 2 min)

  • Session de jeu 2 : Lucas contre Léa (durée 3 min)

  • Session de jeu 3 : Véro contre Dominique (durée 2 min 10 sec)

Il est important de préciser qu’aucuns conseils n’ont été donnés de la part des participants « propriétaires » du jeu avant le début de la première partie.

Dans le projet Ludespace, nous avons adopté la méthodologie de travail de terrain et de recueil de corpus développée en linguistique interactionnelle et analyse conversationnelle qui donne à voir des expériences vidéoludiques variables selon les contextes. Cette méthodologie vise à capturer des données audio et vidéo afin de rendre disponibles, et donc analysables, les détails linguistiques, multimodaux et situationnels (regards, gestes, mouvements, actions, objets, cadre physique) pertinents pour l'interaction enregistrée (Groupe ICOR, 2006). Elle permet aussi d’observer précisément l’évolution dans le temps et dans l’espace d’une ou plusieurs sessions de jeu, les interactions sociales et spatiales qui se nouent entre les joueurs et le support de jeu, entre les joueurs et leur environnement, et enfin entre les joueurs eux-mêmes.

3. Processus d’appropriation du dispositif

Dans une première longue analyse, nous nous intéressons au processus d’appropriation du dispositif par le joueur Lucas, lors des première et deuxième sessions de jeu sur Kinect. Lucas est un joueur plutôt expert des jeux vidéo avec manette mais il a un profil de joueur débutant sur Kinect. La durée totale de l’expérience de jeu de Lucas est de 6 minutes 47 secondes. L’analyse permet de distinguer quatre modalités d’utilisation du corps du joueur selon son degré d’appropriation du jeu : le corps comme médium « découvert » (section 3.1), puis « observé » (section 3.2), puis « conseillé » (section 3.3) et enfin « maîtrisé » / « approprié » (section 3.4).

La première session de jeu commence entre Dominique et Lucas. Dans ce contexte de jeu, Dominique a une maîtrise plutôt experte du dispositif Kinect, alors que Lucas en a une maîtrise débutante. La partie dure deux minutes.

3.1. Phase 1 : Le corps comme médium « découvert »

Dans l’extrait 1, les plateformes rouge et bleue visibles sur la vue de l’écran à droite élèvent les joueurs vers le circuit comme s’ils étaient dans un ascenseur. Ils sont donc en position d’attente avant que ne démarre le jeu.

Extrait 1 : En attendant, les joueurs testent le dispositif

Extrait 1 : En attendant, les joueurs testent le dispositif

L’extrait dure 10 secondes. Les joueurs mobilisent ce temps d’attente pour essayer le dispositif et pour regarder la synchronisation des mouvements de leur corps avec celui de leur avatar à l’écran, sans que cela n’ait pour autant d’impact sur le jeu. Il n’y a pas d’échange de paroles entre les joueurs dans cette séquence. L’interaction se fait uniquement sur un plan non verbal, par les mouvements du corps des joueurs et celui des avatars sur l’écran en réaction.

Dominique commence par faire des mouvements avec son bras gauche puis avec le droit (cf. image 4). Il montre ainsi à Lucas la synchronisation opérée avec les bras de son avatar.

Image 4 : Mouvements de bras de Dominique

Image 4 : Mouvements de bras de Dominique

Ensuite, Dominique va poser sa main gauche sur l’épaule droite de Lucas (cf. image 5). Les deux joueurs sont focalisés sur l’écran pour voir comment l’avatar de Dominique réagit à son mouvement.

Image 5 : Main gauche de Dominique sur l’épaule droite de Lucas

Image 5 : Main gauche de Dominique sur l’épaule droite de Lucas

Après avoir ramené son bras le long de son corps, Dominique reproduit la même action de poser sa main gauche sur l’épaule droite de Lucas (cf. image 6).

Image 6 : Répétition du mouvement précédent

Image 6 : Répétition du mouvement précédent

On voit le bras gauche de l’avatar légèrement en hauteur (écran sur la droite) donc fidèle à l’action de Dominique.

Enfin, Lucas imite l’action réalisée par Dominique, et à son tour pose sa main droite sur l’épaule gauche de Dominique (cf. image 7) pour tester également le dispositif d’interaction homme-machine et ainsi évaluer les réactions de son avatar par rapport aux mouvements de son propre corps.

Image 7 : Main droite de Lucas sur l’épaule gauche de Dominique

Image 7 : Main droite de Lucas sur l’épaule gauche de Dominique

L’analyse linguistique permet ici de comprendre les fonctionnements communicatifs et leurs aboutissements, positifs et négatifs, dans l’action des joueurs. Nous avons dû et voulu confronter alors le geste aux unités de communication des approches théoriques de syntaxe interactionnelle.

Dans l’extrait 1, nous sommes en présence de gestes qui remplacent la parole, mais qui ne sont pas pour autant des gestes signants, au sens qu’il s’agit de gestes différents de la langue des signes. Nous proposons pour notre analyse d’interpréter ces gestes qui remplacent la parole comme noyau (macro-syntaxique), comme un acte de langage, un élément référentiel, un élément rhématique, ou encore un topic dans l’échange.

3.2. Phase 2 : Le corps comme médium « observé »

Après avoir « découvert » minimalement son corps en interaction avec l’avatar du jeu, Lucas joue à la première session de jeu contre Dominique. Il va alors faire l’expérience du jeu sans aucuns conseils préalables. L’extrait 2 dure 6 secondes et permet d’illustrer les mauvaises et bonnes actions que Lucas réalise avec son corps en ce début de jeu.

Extrait 2 : Mauvaises et bonnes postures du corps de Lucas

Extrait 2 : Mauvaises et bonnes postures du corps de Lucas

Lucas enchaîne les bonnes positions du corps pour éviter les obstacles et les mauvaises positions du corps pour gagner des balles (cf. image 8). En effet, Lucas bouge correctement son corps à gauche ou à droite pour éviter les obstacles, et son avatar est synchronisé avec ses mouvements.

Image 8 : Bonne position de Lucas à gauche ou à droite pour éviter les obstacles

Image 8 : Bonne position de Lucas à gauche ou à droite pour éviter les obstacles

Par contre, pour récupérer les balles blanches en diagonale, il ne réalise pas encore la bonne position. Il faudrait qu’il penche son corps pour en gagner plus (cf. image 9).

Image 9 : Mauvaise position de Lucas pour récupérer les balles en diagonale

Image 9 : Mauvaise position de Lucas pour récupérer les balles en diagonale

Dans ce même extrait, on peut également regarder les positions de Dominique, qui à la fois se déplace de gauche à droite pour éviter les obstacles (cf. image 10), et aussi écarte les bras et s’accroupit correctement pour récupérer les balles blanches (cf. image 11). Enfin comme Lucas, Dominique saute aussi sur place pour aller plus vite lorsque c’est nécessaire.

Image 10 : Bonne position de Dominique pour éviter les obstacles

Image 10 : Bonne position de Dominique pour éviter les obstacles

Image 11 : Bonne position de Dominique pour récupérer les balles

Image 11 : Bonne position de Dominique pour récupérer les balles

Tout au long de ce deuxième extrait, nous observons la présence d’une troisième participante, Léa, spectatrice de la situation. Elle regarde les joueurs évoluaient dans leur partie tout en examinant l’évolution des avatars dans l’univers du jeu. Elle est donc témoin des bonnes et mauvaises positions réalisées par Lucas. Cette troisième participante est importante dans le processus d’appropriation du dispositif en train de se construire par Lucas car elle va avoir un rôle central un peu plus tard dans la partie. Dans l’extrait 2, les joueurs sont toujours dans un enchaînement de mouvements et postures sans parole, sans dialogue entre eux comme dans l’extrait 1.

3.3. Phase 3 : Le corps comme médium « conseillé »

Note de bas de page 5 :

La distinction formelle entre un tour d’instruction ou un tour de conseil en situation de jeux vidéo n’est pas décrit dans cet article. Il s’agit d’une recherche plus complexe actuellement menée par Baldauf-Quilliatre & Colón de Carvajal (en préparation).

Dans l’extrait 3, nous arrivons vers la fin de la première session de jeu entre Dominique et Lucas. Léa est spectatrice de la partie en cours, et elle regarde l’avatar de Lucas à l’écran en réaction aux différentes postures qu’il enchaîne avec son corps. Elle va remarquer par exemple que Lucas ne positionne pas son corps correctement pour récupérer les balles. Ce constat va faire émerger une séquence d’instructions, de conseils5 de la part de Léa adressés à Lucas. Le corps de Lucas est donc considéré ici comme un médium qui va être « conseillé » par Léa mais le corps de Léa également va servir de médium « de conseil » sur lequel elle va venir s’appuyer pour expliquer les modalités de jeu à Lucas.

Extrait 3 : Instructions/conseils de Léa adressés à Lucas pendant le jeu

Extrait 3 : Instructions/conseils de Léa adressés à Lucas pendant le jeu

Ligne 1, pendant le rire de Dominique, on observe la position droite du corps de Lucas lorsqu’il arrive sur les balles en forme de « Y » (cf. image 12).

Image 12 : Corps droit de Lucas

Image 12 : Corps droit de Lucas

Léa initie un premier tour d’instructions, de conseils « faut s` mettre sur l` côté » (ligne 3) en réaction à la mauvaise position de Lucas. Elle interpelle ensuite Lucas en ligne 5 et précise son propos « quand y a i grec tu fais comme ça » en réalisant la bonne posture à faire en même temps (cf. image 13).

Image 13 : Posture du corps de Léa en « Y »

Image 13 : Posture du corps de Léa en « Y »

Simultanément à l’action de Léa, et pendant un long silence (ligne 6), Lucas oriente brièvement son regard vers son interlocutrice (cf. image 14), puis le réoriente vers l’écran, et reproduit alors la bonne posture à réaliser (cf. image 15). Il va maintenir cette posture au-delà de l’extrait 3.

Image 14 : Lucas regarde Léa (ligne 6)

Image 14 : Lucas regarde Léa (ligne 6)

Image 15 : Lucas reproduit la bonne posture en forme de Y avec son corps

Image 15 : Lucas reproduit la bonne posture en forme de Y avec son corps

Ligne 7, Lucas initie une hétéro-réparation sur le tour précédent de Léa « quand j` fais quoi » mais sa question n’obtiendra pas verbalement de réponse. Léa enchaîne immédiatement sur un troisième tour d’instructions, de conseils en ligne 8 : « sur l` côté et tu penches xxx » qu’elle exécute en même temps avec son corps en se penchant sur le côté (cf. image 16).

Image 16 : Léa penche son corps sur le côté en parallèle de son conseil (ligne 9)

Image 16 : Léa penche son corps sur le côté en parallèle de son conseil (ligne 9)

Cette seconde position de Léa n’est pas vue par Lucas resté orienté vers l’écran. Il exprime néanmoins sa compréhension des instructions et des conseils de Léa par une exclamation en ligne 9.

Si nous poursuivons notre analyse en nous appuyant sur les unités linguistiques de communication, nous observons cette fois-ci des gestes qui ont une portée, une valeur différente que précédemment. Dans l’extrait 3, nous relevons des gestes qui accompagnent la parole et non qui remplacent la parole. Ces gestes qui accompagnent la parole sont interprétables, entre autres, comme commentaire, « prosodie », nuances, cadreur, embrayeur, préambule, conclusif, parenthèse, ponctuations.

La première session de jeu se termine entre Dominique et Lucas. Les participants vont mobiliser l’entre deux sessions de jeu pour continuer la séquence de conseils et d’instructions initiée par Léa. Les corps de Lucas et Léa sont toujours médium « conseillé » ou « de conseil » dans l’interaction.

Extrait 4 : Instructions/conseils de Léa adressés à Lucas en dehors du jeu

Extrait 4 : Instructions/conseils de Léa adressés à Lucas en dehors du jeu

Lignes 1 et 2, Léa reprend ses conseils et les reformule plus en détail. Elle fait d’abord une référence à une forme que le joueur peut voir dans le jeu « t` sais quand t` as une barre en travers/ comme ça en fait\ » et simultanément, elle représente la forme de la barre avec son bras. À la fin de son tour, Lucas s’oriente vers Léa pour la regarder pendant son explication.

Image 17 : Léa représente « une barre en travers » avec son bras, Lucas regarde Léa faire son action

Image 17 : Léa représente « une barre en travers » avec son bras, Lucas regarde Léa faire son action

Ligne 5, Léa réalise ensuite la bonne position à avoir avec son corps, accompagné d’une instruction orale « faut t` mettre comme ça/ » (cf. image 18).

Image 18 : Bonne posture de Léa pendant son instruction

Image 18 : Bonne posture de Léa pendant son instruction

Lucas réoriente après son regard vers l’écran et, tout en marquant sa compréhension par une exclamation « ah : :/ », il initie alors une position du corps différente (ligne 6), bras droit et bras gauche ouvert en diagonal (cf. image 19). Il imite en fait la position actuellement illustrée en photo sur l’écran à droite et réalisée par Dominique pendant la partie précédente.

Image 19 : Bras droit et gauche de Lucas ouvert en diagonale

Image 19 : Bras droit et gauche de Lucas ouvert en diagonale

Léa propose et réalise enfin une seconde position à reproduire avec son corps « quand t` as un i grec » (ligne 7), accompagné de l’instruction orale « tu t` mets comme ça ». Lucas initie alors un second mouvement en étirant les deux bras rassemblés en l’air et en se penchant (cf. image 20).

Image 20 : Léa en posture de « Y » et Lucas penché sur le côté les bras en l’air

Image 20 : Léa en posture de « Y » et Lucas penché sur le côté les bras en l’air

Du geste vers l’expression corporelle. L’analyse des extraits 3 et 4 nous permettent de décrire plus finement le geste par rapport à ce qu’on appellerait l’expression corporelle. Dans ce type de jeux, il s’agit bien de transmettre à la machine sa propre expression corporelle par écran interposé. L’expression corporelle mobilisée ne serait alors pas constituée de simples gestes (ou dans d’autres contextes, de mimiques, de regards, ni même de postures) mais en réalité d’un parler corporel, d’un langage corporel, d’une expression corporelle pour contrôler la machine (l’avatar), ce qui est différent lors de l’utilisation d’un volant, d’un bouton, d’un clavier, d’une manette. Nous reviendrons plus en détail sur la comparaison entre geste vs expression corporelle en conclusion de notre article.

3.4. Le corps comme médium « approprié » / « maîtrisé »

La seconde session de jeu commence cette fois-ci entre Léa et Lucas. Dans cette configuration, Léa est plutôt une joueuse intermédiaire dans les jeux vidéo sur Kinect. Lucas reste quant à lui un joueur débutant sur Kinect. La partie entre ces deux joueurs va durer trois minutes. Ce cinquième extrait permet d’observer l’appropriation du dispositif par Lucas lorsqu’il mobilise son corps au bon moment dans le jeu et de façon appropriée, maîtrisée par rapport aux actions à réaliser dans le jeu.

Extrait 5 : Appropriation des postures

Extrait 5 : Appropriation des postures

Dans l’extrait 5, Lucas enchaîne à présent une succession de plusieurs positions du corps parfaitement coordonnées pour la bonne progression du jeu. En effet, il réalise une première position avec les bras ouverts synchronisée à la forme alignée des balles (cf. image 21).

Image 21 : Lucas avec les bras ouverts pour gagner les balles alignées

Image 21 : Lucas avec les bras ouverts pour gagner les balles alignées

Il réalise ensuite une seconde action où il déplace les bras d’avant en arrière pour activer la barre horizontale sur l’écran (cf. image 22).

Image 22 : Lucas avec les bras d’avant en arrière

Image 22 : Lucas avec les bras d’avant en arrière

Aussi, il réussit à récupérer la ligne de balles en diagonale en étirant ses bras en l’air et en se penchant avec le corps (cf. image 23).

Image 23 : Lucas penché avec les bras en l’air

Image 23 : Lucas penché avec les bras en l’air

Lorsque la forme des balles représente une étoile, Lucas positionne son corps les bras ouverts et jambes ouvertes (cf. image 24).

Image 24 : Lucas les bras et jambes ouvertes en forme d’étoile

Image 24 : Lucas les bras et jambes ouvertes en forme d’étoile

Enfin, il enchaîne sur la position du corps en forme de i grec, avec les bras ouverts en l’air et cette fois-ci les jambes rassemblées (cf. image 25).

Image 25 : Lucas avec le corps en forme de i grec

Image 25 : Lucas avec le corps en forme de i grec

Comme dans les extraits 1 et 2, l’appropriation de la Kinect par Lucas se fait ici en l’absence de dialogue entre les deux joueurs. Il s’agit, de nouveau, de gestes et plus spécifiquement d’expressions corporelles qui remplacent la parole et que nous analysons comme noyaux (macro-syntaxiques) dans l’échange.

3.5. Synthèse : Appropriation de Lucas « co-construite » du dispositif

Si nous résumons la brève expérience de jeu de Lucas face à ce nouveau dispositif de jeu qu’est la Kinect, nous pourrions le schématiser par un continuum temporel sur lequel nous représentons les deux parties jouées par Lucas ainsi que la transition entre les deux sessions.

Figure 1 : Processus d’appropriation de Lucas

Figure 1 : Processus d’appropriation de Lucas

Même si le joueur semble avoir une connaissance instinctive du jeu, et qu’il s’engage dans la partie sans en connaître précisément les règles, nous observons qu’un apprentissage, même bref, est indispensable pour savoir comment agir avec son corps pour animer son avatar et gagner les options proposées dans le jeu. Sans explications préalables, les règles de ce jeu ne semblent pas évidentes. Elles ne vont pas de soi, même pour un joueur comme Lucas, habituellement expert en jeux vidéo sur manette.

Lucas a donc eu un apprentissage rapide (30 secondes seulement) et efficace des techniques de jeu, des façons de jouer avec son corps comme médium d’interaction, une fois qu’un autre joueur lui a expliqué. Cet apprentissage accéléré a permis à Lucas de s’approprier les bonnes pratiques de jeu et de les mobiliser au moment pertinent dans les actions du second jeu.

Cependant, chaque jeu sur Kinect a ses propres règles, où le corps doit bouger d’une certaine façon pour contrôler son avatar et les actions de son avatar. Sur Kinect, il y a donc un apprentissage renouvelé à avoir de la part du joueur en fonction du jeu, ce qui n’est pas nécessairement le cas dans les jeux avec manette.

4. Processus de résistance au dispositif

En parallèle d’une appropriation du dispositif, nous avons observé aussi quelques formes de résistance de la part d’une joueuse à la fin de cette séquence de jeu sur Kinect. Mettre en regard le processus d’appropriation par rapport au processus de résistance au dispositif permettra ainsi de rendre compte d’expériences de joueurs différentes sur un même dispositif d’interaction homme-machine et sur un jeu similaire. Nous terminerons donc nos analyses en étudiant le processus de résistance au dispositif observé chez Véro, en fin de session de jeu sur Kinect Adventures : Reflex Ridge.

4.1. Le corps comme médium « résisté »

Véro est, comme Lucas, une joueuse débutante sur le dispositif de la Kinect. Ce dernier extrait 6 se situe pendant la transition en dehors du jeu, entre la deuxième et la troisième session de jeu. Cet extrait rend compte d’une forme de résistance au dispositif d’interaction homme-machine de la part de Véro.

Extrait 6 : Résistance au dispositif

Extrait 6 : Résistance au dispositif

Ligne 1, Véro initie une séquence d’explication « nan mais tu m’expliques avant// » avant que ne commence la troisième session de jeu, en s’adressant à Dominique, son futur adversaire de jeu. À la différence des extraits 3 et 4 où les conseils étaient proposés par une participante spectatrice du jeu, ici ils sont demandés par la joueuse débutante elle-même avant le début de la partie. Bien qu’elle ait été témoin et spectatrice des deux parties précédentes, l’apprentissage des règles de ce jeu n’a pas été approprié par la joueuse et c’est une fois en situation de jeu qu’elle s’assure d’avoir intégré les modalités du jeu.

Dominique répond à Véro et lui indique les actions principales à faire avec son corps dans le jeu (lignes 9 à 14), tout en réalisant les bonnes postures avec son propre corps (par exemple, ligne 12, il dit « quand t` as des barres/ tu fais comme ça/ et tu tires dessus pour faire comme si tu tirais » ; et il réalise en même temps le mouvement des bras d’avant en arrière pour imiter l’action de tirer sur la barre devant soi (cf. image 26). Les gestes accompagnent ainsi les paroles du joueur.

Image 26 : Mouvement de bras d’avant en arrière de Dominique

Image 26 : Mouvement de bras d’avant en arrière de Dominique

Ligne 16, Léa ajoute ensuite le conseil de « prendre les sous », mais elle n’explique pas à Véro comment le faire avec le corps. À ce moment, Léa est alors de nouveau spectatrice, mais assise dans le canapé, Véro est dos à elle.

Dominique s’appuie ensuite sur le tutoriel du jeu en train de se dérouler à l’écran face aux joueurs et fait des références à l’écran : « regarde » « tu vois » (lignes 18 et 20) pour la suite des explications. Il délègue finalement l’explication des règles du jeu au dispositif lui-même.

Image 27 : Tutoriel « Tirez sur les barres pour aller plus vite »,Véro bras en arrière

Image 27 : Tutoriel « Tirez sur les barres pour aller plus vite »,
Véro bras en arrière

Image 28 : Tutoriel « Tirez sur les barres pour aller plus vite », Véro bras en avant

Image 28 : Tutoriel « Tirez sur les barres pour aller plus vite », Véro bras en avant

Ligne 20, c’est alors au tour de Lucas de donner son explication des règles du jeu « en gros c` que t` as envie d` faire à l’écran/ tu l` fais en vrai\ (0.2) voilà\ ». Comme Léa, il est alors spectateur du jeu à cet instant, assis dans le canapé, et Véro est debout dos à lui. Le tutoriel du jeu continue de se dérouler sur l’écran. Véro peut lire à la ligne 24 l’indication suivante : « évitez les obstacles pour marquer » (cf. image 29)

Image 29 : Tutoriel « Éviter les obstacles pour marquer »

Image 29 : Tutoriel « Éviter les obstacles pour marquer »

Véro valide les explications données par ses amis : « d’accord » (ligne 25), suivi immédiatement par une première forme de résistance aux consignes données avec le soupir « pf : :\ ». Cette marque verbale de résistance est accompagnée d’un geste de la main orienté vers l’écran et faisant référence au saut que vient de réaliser l’avatar dessiné sur le tutoriel du jeu à l’écran (cf. image 30).

Image 30 : L’avatar saute pour éviter des obstacles

Image 30 : L’avatar saute pour éviter des obstacles

Lucas propose enfin une autre version de la règle de jeu : « si tu veux sauter l’obstacle tu sautes\ » (ligne 27) à laquelle Véro réagit de manière réactive en disant « et si tu sautes pas/ c’est pas grave\ » (ligne 29).

La séquence de pré-explications s’arrête et la troisième session de jeu va commencer entre Dominique et Véro. Des conseils seront également donnés pendant la session de jeu par Léa mais nous verrons dans la synthèse que Véro maintient malgré tout une certaine résistance au dispositif du jeu.

4.2. Synthèse : Résistance « co-construite » de Véro au dispositif

Si nous résumons aussi la brève expérience de jeu de Véro face à ce nouveau dispositif de jeu avec la Kinect, nous représentons le même continuum temporel (cf. figure 2) sur lequel nous positionnons le moment de transition entre le deuxième jeu (avec Lucas) et le troisième jeu (avec Véro).

Figure 2 : Processus de résistance de Véro

Figure 2 : Processus de résistance de Véro

Ici, la joueuse n’a clairement pas de connaissance instinctive du jeu, et sollicite une demande d’explications, d’apprentissage des règles du jeu au préalable. Véro a donc eu un apprentissage un peu plus long et détaillé que Lucas (40 secondes) et fait déjà preuve d’une certaine forme de résistance au dispositif. Cet apprentissage permet néanmoins à Véro de s’approprier a minima certaines bonnes pratiques de jeu et de les mobiliser à des moments pertinents dans les actions du second jeu (par exemple pour éviter les obstacles en se penchant ou bien sauter très légèrement pour aller plus vite).

Cependant, bien que des moments de conseils par Léa persistent pendant la troisième partie du jeu, Véro maintient des moments réguliers de résistance au dispositif lorsqu’elle dit par exemple « si tu veux pas sauter » (sur un ton interrogatif) ou « je ne veux pas sauter » sur la fin de la partie.

5. Conclusion

Notre analyse a donc permis de repérer et décrire quatre modalités d’utilisation du corps par le joueur lors du processus d’appropriation du dispositif d’interaction homme-machine. Le corps peut être utilisé comme médium « découvert », puis « observé », puis « conseillé » enfin « maîtrisé » / « approprié ». Nous avons également décrit une dernière modalité de (non) utilisation du corps comme médium « résisté » voire « détourné », cette fois dans le processus de résistance au dispositif.

Au-delà de l’apprentissage renouvelé que le joueur débutant doit avoir, l’appropriation d’un dispositif technique comme la Kinect n’est donc pas systématique selon le profil du joueur. L’expérience d’un jeu sur Kinect vs l’expérience du joueur est différente selon le contexte de l’activité : en solo, à plusieurs joueurs, avec ou sans spectateur. En effet, les expériences du jeu de Véro et Lucas, débutants tous les deux, se construisent face au regard d’autrui, devant témoins qui peuvent potentiellement juger leur façon de jouer. Les différents conseils donnés par Léa pendant la pratique de jeu de Véro peuvent potentiellement être ressentis par la joueuse et les co-participants comme le constat d’un « mauvais » jeu en train de se faire.

L’expérience du joueur est également à mettre en relation avec le plaisir ou non du jeu vidéo collectif, le plaisir de jouer de cette façon, c’est-à-dire en mobilisant tout son corps au lieu d’utiliser une manette seule. La manifestation de formes de résistances de la part d’un joueur peut être analysée comme une expression de déplaisir du jeu. Véro est ainsi partagée entre le plaisir de jouer entre amis, et le déplaisir de devoir respecter les règles du jeu – et donc réaliser les bonnes actions avec son corps – si elle veut construire son identité de « bonne joueuse ».

Note de bas de page 6 :

Canal de Reconnaissance des Formes et Intelligence Artificielle. (2012). Kinect Adventures Trailer. En ligne : https://www.youtube.com/watch ?v =-p96Slu1PiA&feature =youtu.be (à partir de 15 secondes) (consulté le 23 juin 2016).

Aussi, notre analyse permet de discuter la relation entre le cadre d’usage que l’on a documenté avec nos données, avec le cadre de fonctionnement technique tel que le définit Flichy (2008) – cadre imposé par le dispositif d’interaction homme - machine qu’est la Kinect. En effet, si l’on regarde les vidéos promotionnelles6 du jeu étudié sur Kinect dans notre article, le message véhiculé par les concepteurs et les développeurs du jeu – à savoir le plaisir et l’appropriation directe des mini-jeux – est différent du message perçu et observé dans nos analyses.

Par ailleurs, nous avons étudié le processus d’appropriation et de résistance au dispositif technique Kinect dans la perspective de mettre en regard et en discussion le geste vs l’expression corporelle. Le simple geste d’un joueur peut être analysé ici par opposition à l’expression corporelle. Nous avons analysé dans les extraits des gestes qui remplacent les mots et d’autres qui accompagnent la parole. Ces gestes sont interprétables comme acte de langage, comme noyau syntaxique, avec une portée (syntaxique et pragmatique) parfois différente (par exemple le geste comme répétition, réponse, réparation vs le geste comme embrayeur, commentaire).

Par contre, de notre point de vue, l’expression corporelle des joueurs n’est pas seulement un acte de langage, comme par exemple une réponse, une question, un ordre ou l’obéissance à une injonction, une consigne, etc. Aussi, l’expression corporelle n’est pas non plus un « geste qui accompagne », un acte de langage (alors adnoyau sur le plan syntaxique). En réalité, dans notre contexte d’interaction, l’expression corporelle s’organise de manière autonome et se suffit à elle seule comme acte de communication et non plus seulement comme acte de langage.

Dans le geste, la communication est directe et sans apprentissage temporel, elle est non réflexive. En utilisant l’expression corporelle des joueurs, la communication est alors moins directe, plus longue, étendue sur une temporalité d’apprentissage, et réflexive. Le joueur doit être alors plus motivé, plus physiquement engagé, plus mobilisé corporellement. L’expression corporelle incarnée par les joueurs (et les spectateurs) est une projection miroir vers la machine (l’écran, le dispositif), une phrase entière reprise par la « machine-avatar », qui elle-même doit s’approprier et interpréter, analyser cette phrase entière, sa syntaxe (son organisation : d’abord lever la main puis le bras, changer de direction, baisser le bras ensuite, etc.), et que le joueur doit en retour se réapproprier par ce jeu de « miroirs ».

Le plaisir du jeu, de jouer dont nous parlions précédemment est donc différent à des niveaux multiples. Le corps du joueur reflété par la machine, repris, imité par la machine doit être exempt de limitations, de contraintes physiques ; il doit être libre, libéré même, physiquement, tout en respectant une organisation communicative très contraignante. En effet, le joueur s’adresse à une « machine-avatar » et non à un être humain : un être humain, lui, est capable de comprendre et d’accepter une syntaxe (organisation) très enrichie, très large dans ses possibilités, ce qui n’est pas dans les compétences d’une machine.

Pour que le plaisir d’être observé, imité, mémorisé, réapproprié soit ressenti, il faut à la fois que le joueur accepte de laisser exprimer son corps (i.e. expression corporelle) dans sa totalité, mais dans un cadre très contraint de règles et de consignes précises, qu’il faut s’approprier en même temps (ce que montrent les conseils de jeux, briefings, consignes et démonstrations de l’«  expert » ici dans les extraits). Le geste n’exige pas autant du joueur : le plaisir du jeu est alors plus élémentaire (et sans doute plus facile à atteindre) quand les gestes seuls sont requis.

Ainsi, plus le langage corporel est complexe, plus sa syntaxe est à la fois complexe et contrainte. Il y a ici des noyaux-actes de langages et des adnoyaux autour des actes de langage qui forment des unités de communication larges mais organisées, qu’il faut s’approprier et se réapproprier pour être présent de manière réflexive à l’écran à travers son avatar, et pour être reconnu comme « bon » joueur aux yeux des amis-spectateurs.

6. Conventions de transcription

 

Les auteurs remercient le LABEX ASLAN (ANR-10-LABX-0081) de l'université de Lyon pour son soutien financier dans le cadre du programme « Investissements d'Avenir » (ANR-11-IDEX-0007) de l'État français géré par l'Agence Nationale de la Recherche (ANR).