Le statut sémiotique de l’image. Rapport d’expérience sur l’intersémiotique dans le discours scientifique (second volet)

Dans Visible 5 est paru un premier volet d’étude intitulé « Le statut sémiotique de l’image. Rapport d’expérience sur l’intersémiotique dans le discours scientifique ». On y menait l’analyse sémantique et morphologique de textes obtenus à l’occasion d’un test mené en milieu scolaire auprès d’une cinquantaine d’élèves du secondaire. Ce test a consisté à demander à chaque élève de décrire, en une phrase, un schéma issu d’une revue de vulgarisation scientifique. Les conclusions de cette analyse ont été précédemment présentées à Urbino lors du colloque inaugurant le projet collectif de recherche sur les images scientifiques, après lesquelles, Jean-François Bordron a fait remarquer qu’elles demandaient à être confirmées par l’expérience inverse, à savoir une expérience de transcription de langage verbal en langage visuel. C’est à suivre cette suggestion que s’applique la présente étude, le test précédent ayant produit des résultats qui réclament en effet une confirmation.

Protocole et objectif de l’expérience

Fig. 1 : Questionnaire du test

La seconde phrase d’instruction a été introduite afin de désambiguïser le mot schéma. Elle a donc un caractère métalinguistique évident. Mais c’est déjà le cas de la première phrase d’instruction. Le caractère métalinguistique des instructions paraît inévitable, tant à l’égard du schéma que de l’énoncé verbal. Ainsi, plusieurs rapports métalinguistiques sont imbriqués dans ce formulaire : (i) l’image est dite représenter un énoncé, ce qui la dote d’un contenu métalinguistique explicite (si toutefois on convient que le métalangage, dans une acception large, rassemble tout commentaire sur) ; (ii) les phrases d’instruction ont un contenu métalinguistique implicite, marqué par des connecteurs (l’énoncé suivant) et engrangeant des isotopies ordonnées (schéma = flèches & formes géométriques simples + hachures). Le formulaire implique ainsi la présentation minimale d’un rapport polysémiotique et intersémiotique entre le verbal et le visuel.

L’énoncé objet a été forgé pour le test. Deux réquisits ont instruit son invention : d’une part, il fallait qu’il soit conforme aux résultats de l’analyse sémantique du premier test (d’où, notamment, la référence au domaine de la biologie moléculaire) ; d’autre part, il devait être d’un niveau de compréhension aisé. Sur ce second point, nous avons failli à notre intention, car les termes homogène et hétérogène ont visiblement fait difficulté pour certains élèves ; l’analyse de leurs hésitations s’avère cependant l’un des points les plus intéressants.

Les réponses obtenues sont fournies en annexe ; on y renverra dans l’analyse par des numéros mis entre crochets. Par souci d’économie, les feuillets de réponse n’ont pas été reproduits intégralement mais uniquement circonscrits aux schémas dessinés. Plusieurs éléments matériels en sont escamotés : la taille des dessins, leur emplacement par rapport aux phrases du formulaire, les couleurs utilisées. Il ne nous a pas semblé cependant que ces caractéristiques liées au média et aux instruments utilisés devaient avoir une incidence sur l’analyse sémantique.

Au terme de cette analyse, deux ordres de comparaison interviennent successivement : dans un premier temps, la comparaison s’est portée sur les différentes réponses obtenues au cours du test ; dans un second temps, une comparaison sera menée entre les résultats généraux de ce test et les résultats du test précédent (recueillis dans l’étude parue dans Visible 5).

Résultats d’analyse

Nous procédons par comparaison en partant d’éléments du texte source et en observant des variantes que leur interprétation a suscité dans les schémas produits par les élèves.

Hétérogène

Le qualificatif a été ordinairement porté sur une figure globale. Certains élèves l’ont néanmoins fait porter sur les éléments de cette figure, par exemple dans le schéma [38]. On peut rendre compte de ces cas par une interprétation d’un rapport de la qualification d’hétérogène à cellules et non à ensemble. La question de la légitimité de ces variantes se pose eu égard aux marques de la concordance syntaxique : la règle grammaticale suppose qu’hétérogène ne puisse porter que sur ensemble. Mais la règle grammaticale ne précise pas comment un ensemble peut être hétérogène et n’interdit pas de penser que l’on se trouve devant une synecdoque d’usage, comme dans les syntagmes une population blanche de dix mille individus ou un groupe de militants désuni. Dès lors, ces variantes, quoique minoritaires, ne peuvent être écartées ; elles montrent que le langage visuel oblige à préciser sur quel sémème exactement porte la qualification d’hétérogénéité, et que le procédé synecdochique, tel que la langue l’accueille dans ses usages les plus répandus, ne saurait y être de mise.

Transformation d’un ensemble hétérogène en un ensemble homogène

Le processus de transformation a été diversement interprété. Il peut conduire à une substitution totale d’un ensemble en un autre ; et il est alors incident que l’un des ensembles soit hétérogène et l’autre homogène, comme c’est le cas dans le schéma [6]. Ou bien la transformation est interprétée comme une substitution partielle, et c’est alors l’hétérogénéité même du premier ensemble qui est visée par l’opération de substitution, comme on le voit à l’œuvre dans le schéma [4]. Sans doute on admettra que la seconde solution graphique est plus judicieuse que la première. Mais ce qu’il importe de noter est que, dans le langage visuel des graphiques, il y a une nécessité à faire un choix entre les deux solutions — substitution totale ou substitution partielle — alors que transformation les laisse indissociée. Et l’on ne voudra pas dire, avec les logiciens, que la raison d’une telle différence de traitement réside en ce que le langage verbal se montre équivoque, car il n’y a pas de nécessité en soi à préciser ce qui ne l’est pas. On observe donc ici, comme avec l’examen de ce sur quoi porte la qualification d’hétérogène, une différence sémantique majeure entre le langage verbal et le langage graphique. Cette différence permet de confirmer le statut sémiotique de l’image.

On mentionnera pour suivre deux facteurs de variation afférents à la présence du couple hétérogène vs homogène.

Cellules

La représentation des cellules connaît une considérable diversité ; on les trouve représentées sous la forme de ronds (dans 34 cas), d’ovales (8 cas), d’étoiles (5 cas), de carrés (24 cas), de triangles (21 cas), de rectangles (3 cas), de losanges (2 cas), de pentagones ou d’hexagones (5 cas), de points plus ou moins épais (5 cas), et d’autres formes encore (au moins 9 autres formes ont pu être répertoriées), sans compter les figures « informes » (4 cas, par exemple [44]). On ajoutera que dans 12 cas il semble qu’une figuration iconique des cellules ait été tentée, fût-ce de façon schématique, tel en [10] où la cellule (un rond) apparaît munie de son noyau (un point). Pourtant, cette diversité de variantes graphiques n’affecte guère l’analyse qu’il y a à en faire du point de vue de leur contenu. Elles remplissent toutes de manière égale la représentation de cellules. Ceci permet de préciser que, pour être significatives du point de l’analyse de contenu, les variantes observées de représentation graphique d’un élément du texte source doivent avoir une incidence sur l’interprétation d’au moins un autre élément du texte source. C’était le cas avec hétérogène (qui implique que soit déterminé ensemble) et avec ensemble (qui doit porter les critères de sa transformation d’hétérogène à homogène), mais non de cellules, lesquelles, qu’elles soient représentées rondes, carrées ou informes, remplissent invariablement la même fonction sémantique dans les graphiques du corpus.

Tout au plus peut-on supputer, au regard des résultats obtenus, une légère contradiction, à tout le moins une équivoque, dans nos instructions métalinguistiques, dès lors que la première phrase demande de représenter des cellules, mais que la seconde n’autorise que des formes géométriques simples. Est-il convenable de représenter des cellules par des formes géométriques simples ? La diversité des formes employées ainsi que les tentatives d’iconisation laissent supposer qu’une approbation à cette question ne serait pas obtenue sans conditions.

Se transforme en

Le prédicat verbal marque une action réfléchie et appelle un résultatif. En outre, il peut accueillir un cas instrumental (par l’action de).

Fig. 2 : Graphe dialectique du texte-source

Le graphe ci-dessus est conforme à la version la plus répandue du test précédent (cf. Visible 5, p. 41). La question principale qui se pose à propos de ce prédicat concerne, comme on s’en doute, l’adaptation de l’action réfléchie par des moyens visuels.

Variante remarquable, le schéma [28] présente plusieurs flèches reliant des figures entre elles et marque de ce fait l’itération du processus de transformation (un équivalent visuel de « est en train de se transformer en »), ce qui, par convention, met l’accent sur l’intégrité d’un actant objet et se rapproche par conséquent sur un point sémantique essentiel de l’action réfléchie présente dans le texte source.

Autre variante remarquable, le schéma [45] dissocie les valences actantielles et temporelles, sous la forme canonique d’un processus échelonné en un avant, un pendant et un après.

L’action d’éléments extérieurs

La première question intéressante qui se pose à la transposition graphique de ce syntagme verbal concerne la subordination d’un prédicat (substantivé : action) vis-à-vis d’un autre (se transforme en). La plupart des schémas du corpus atteste de la communauté casuelle entre action et se transforme dès lors que ces prédicats sont tous deux représentés par une flèche. Quant à la subordination, elle présuppose en tout cas la différenciation des deux prédicats, ce que suffit à manifester une différence d’orientation (par exemple, schéma [23]), ou une différence de forme (droite vs courbe, tel en [8], ou droit vs cisaillé [43]). La différence fait quelquefois intervenir, supplémentairement, une hiérarchie, ou du moins la possibilité d’une hiérarchisation, telles les oppositions long vs court [15], épais vs fin [6], contour vs ligne claire [24]. Quelle que soit la correspondance retenue entre l’opposition principal vs subordonné et l’opposition visuelle, la possibilité demeure d’en inverser les termes. Autrement dit, au lieu que a soit à b, dans le langage verbal, ce que ce c est à d, dans le langage visuel, on a parfois a est à b ce que d est à c. Ainsi en [26] et [33], la flèche supposément subordonnée est mise en contour tandis que la flèche principale est en ligne claire, ce qui suffit à infirmer la thèse d’une lexicalisation terme à terme d’une unité verbale avec une unité visuelle.

En outre, on observe que les élèves ont dûment interprété la présence d’une prédication ergative subordonnée en ce qu’ils l’ont transposée dans plus de la moitié du corpus (25 schémas sur 47) par une pluralité de flèches (puisque ce sont des éléments extérieurs qui agissent), bien que l’énoncé verbal affiche un substantif au singulier. Le choix graphique qu’il suppose est significatif car, à défaut de pluraliser les flèches subordonnées, c’est la différence entre ensemble (c’est-à-dire un tout englobant) et des éléments extérieurs (une pluralité non englobée) qui risque d’être neutralisée, risque qu’on observe dans le schéma [9] ; à moins de maintenir cette différence en faisant jouer une autre différenciation graphique, telle que bordé vs non bordé, comme en [23]. On constate donc que différentes combinaisons de traits graphiques régis par des relations de contraste visuel parviennent à rendre compte des mêmes traits sémantiques spécifiques propres au texte source, soit :

/flèches plurielles/ vs /flèche singulière/ + /formes sans bordure/

= /deux flèches singulières/ + /formes avec bordure/ vs /formes sans bordure/

= action subordonnée d’éléments non explicitement assemblés sur l’action principale d’un ensemble d’éléments.

Une autre question qui se pose à l’endroit de la représentation de l’action d’éléments extérieurs consiste à déterminer sur quel ensemble porte cette action : sur l’ensemble à transformer ou sur l’ensemble transformé ? La question n’a pas de sens dans l’interprétation du texte source, dès lors que la subordination prédicative se passe de syntagme objet. Mais, dans le cas d’un graphique figuratif, il y a bien la possibilité de faire porter sur une figure l’action d’éléments extérieurs. Dans un certain nombre de cas, les élèves ont opté pour faire porter l’action d’éléments extérieurs sur le groupe à transformer. Dans trois cas, elle porte à l’inverse sur l’ensemble transformé (par exemple dans le schéma [34]) voire sur les deux ensembles [5]. À nouveau, la nécessité de valeurs sémantiques spécifiquement visuelles est manifestée par la coprésence de différentes variétés de représentation d’un élément (action) en rapport avec d’autres éléments (les deux occurrences d’ensemble).

Dans le tableau ci-dessous on peut constater à quel point la transformation, avec action subordonnée, donne lieu à des options de représentation graphique différentes. Même si des variétés sont plus largement sélectionnées dans le corpus, la répartition marque l’étanchéité des interprétations des valeurs sémantiques du texte source manifestées par les schémas.

Fig. 3 : Tableau récapitulatif des analyses dialectique et distributionnelle

Finalement, trois grands types de représentation graphique se dégagent à l’analyse :

• Type I : deux groupes figuratifs ou symboliques sont reliés par une flèche, les groupes étant différenciés par l’homogénéité ou non de leurs éléments (38 cas, soit 80 % du corpus).

• Type II : trois groupes figuratifs ou symboliques sont en présence (4 cas).

• Type III : un seul groupe figuratif ou une seule figure est dessinée (3 cas).

Deux schémas échappent à cette catégorisation : le schéma [13], qui présente un cas hybride entre le type I et le type II, et le schéma atypique [14].

Action

Il reste à interpréter le prédicat subordonné en activant des sèmes spécifiques que le terme même d’action ne laisse pas suggérer. Deux parcours entrent en conflit pour son interprétation. L’un consiste à conduire des éléments externes vers un ensemble ; il s’agit en somme d’une action d’inoculation. L’autre parcours suppose au contraire de partir de l’ensemble et de le débarrasser, au contact d’un milieu externe, de son hétérogénéité ; il s’agirait alors plutôt d’une décantation. La direction des flèches manifeste clairement la possibilité de ces deux parcours : elle est centripète dans le premier cas (qui concerne 16 schémas, dont [1]), elle est centrifuge dans le second (les schémas [5] et [40] la manifestent). Il est vrai que dans ce second parcours, les éléments extérieurs ne sont pas figurés distinctement de leur action. Mais des sèmes tels que /vague/, /général/, voire /abstrait/ sont actualisables pour ce syntagme nominal et suffisent à justifier l’absence de figuration graphique. Il n’en revient pas moins que, dans ce cas, le langage visuel s’accommode tout autrement que le langage verbal des traits sémantiques en question.

Éléments extérieurs

Venons-en alors aux modalités de représentation graphique du syntagme qui les contient. Conformément au schéma d’origine (celui du premier test), on aurait pu attendre, pour représenter ces éléments indéfinis, des formes géométriques simplifiées, contrastant avec des cellules figurativisées. Cette solution est concurrencée dans le corpus par des figurations qui actualisent des sèmes non présents dans le syntagme verbal : la chaleur en [2] et [8], la solution liquide [45], le fractionnement ou la dissolution [12], la magnétisation [19]. D’autres élèves ont introduit le syntagme verbal dans la représentation graphique, tel en [20] et [21], ce qui indique sans doute que l’absence de sèmes à figurativiser rend légitime à leurs yeux la production d’un énoncé polysémiotique comportant des index métalinguistiques. Dans certains schémas, on assiste à la fois à la présence d’index métalinguistiques et à des interprétants non contenus dans le texte source ; tel est le cas du schéma [10], où les éléments extérieurs sont interprétés comme « le froid », ainsi que du schéma [31] où ces mêmes éléments sont interprétés cette fois comme des « agents chimiques ». Enfin, dans un cas unique, on trouve une exposition de type symbolique, les cellules étant symbolisés par des points de différentes couleurs, les éléments extérieurs par des segments de ligne, sur lesquels renchérit l’index métalinguistique « (élément ext) » ; il est vrai que l’ordonnancement spatial des symboles demeure néanmoins en partie figuratif.

La diversité des solutions apportées à la représentation graphique des éléments extérieurs ne peut être assimilée à celle que connaît la représentation graphique des cellules. Car ces solutions révèlent autant de propositions différentes pour déterminer le rapport entre le langage verbal et le langage visuel. L’hypothèse d’une transposition simple, impliquant des systèmes de langage positifs (réductibles à des états simples), s’en voit très sérieusement mise à mal. Si le langage visuel est un langage, il le doit d’abord à la complexité sémantique de ses unités ainsi qu’à la complexité de ses rapports polysémiotiques et intersémiotiques avec d’autres langages.

Conclusions

Dès lors que l’objectif de l’étude était de trouver des moyens de confirmation du statut sémiotique des images, les résultats comparatifs de l’analyse sémantique des schémas obtenus à partir du test proposé peuvent être considérés comme largement probants. La diversité des options de représentation graphique d’un seul et même énoncé verbal montre que la production des schémas est instruite par d’autres contraintes que la seule exigence d’une représentation transpositive. De fait, les variétés observées ne peuvent être considérées comme des variations insignifiantes du point de vue de l’analyse du contenu de l’énoncé objet. Ces variétés sont amenées ici à préciser (lorsqu’il s’est agi, par exemple, de déterminer sur quoi porte la qualification d’hétérogénéité), là à adapter (quand l’aspect réfléchi de la transformation a été « déplié » en une action passive, et parfois inchoative), là encore à interpréter (avec les « éléments extérieurs ») les valeurs sémantiques du texte source. La diversité des cas rencontrés montre qu’on ne saurait réduire cette variété à l’incompétence relative — et, à vrai dire, bien peu incriminable — des élèves ou à l’équivocité sémantique du texte source. Cette variété est contenue en puissance dans les formes spécifiques de production des images, en raison de quoi celles-ci révèlent un statut sémiotique qui leur est propre.

La thèse défendue et argumentée dans cette étude peut donc être reformulée de la façon suivante : il n’est pas vrai que les images puissent être dans un rapport de transposition vis-à-vis de langages formalisés. Tout au contraire, les images, y compris les schémas à visée scientifique, partagent avec les textes un statut sémiotique qui accorde à leur organisation sémantique et syntaxique une spécificité générale, celle d’un langage visuel, tout de même qu’il existe une spécificité générale inhérente au langage verbal.

Nous sommes prêt toutefois à admettre que ce sont les usages qui déterminent la qualification sémiotique des images. Que, parmi ces usages, certains tendent à une opacité totale, c’est là une recherche esthétique et artistique qui nous paraît légitime ; encore ces usages ne peuvent-ils garantir d’avoir atteint leur objectif ; l’analyse sémiotique reste donc applicable et doit permettre de trancher. Que d’autres usages des images puissent au contraire tendre vers une transparence absolue ne nous paraît pas non plus déraisonnable dans le cadre de discours scientifiques. Là encore, l’analyse sémiotique doit permettre de dire, oui ou non, si ces usages répondent aux exigences d’une formalisation strictement univoque.

Une question pendante est de savoir si nous admettrons encore de dire, dans le cas où l’analyse conduirait à poser des correspondances exactes et invariables entre les formes d’expression et les valeurs de contenu d’un corpus donné, que nous sommes en présence d’images au sens commun du terme. Toutes les icônes ou tous les symboles en usage dans les discours scientifiques (ainsi que dans d’autres discours) ne devraient pas nécessairement, ce nous semble, être qualifiée d’images. Dans ce débat, on se réfère souvent à la catégorie des signes de Peirce. Rappelons en effet que les icones au sens de Peirce comprennent des équations algébriques ou des exécutions musicales. Sont-ce là encore des images ? Toute une série de confusions théoriques et analytiques ressortissent du parti pris consistant à vouloir faire correspondre les icones au sens de Peirce avec les images. En réalité, il vaudrait mieux reconnaître tout de go que la catégorisation peircienne ne permet tout simplement pas de poser la question du statut sémiotique des images, ou du moins y manque-t-elle une caractéristique à nos yeux essentielle, celle de la complexité syntaxico-sémantique.

Comparaison des deux volets de l’étude et conclusions générales

Deux tests auront donc été menés de manière à offrir une certaine réciprocité de vues : dans le premier test, présenté dans l’étude parue dans Visible 5, il s’agissait de faire produire une phrase interprétant la signification d’un schéma donné ; dans le second test, il s’est agi de produire un schéma représentant une phrase. Eu égard à nos hypothèses théoriques, il n’est guère plausible que la réciprocité des deux tests puisse être posée de façon stricte et que, par exemple, on cherche dans les réponses du second test à retrouver le schéma donné au départ du premier. En revanche, on a pu s’efforcer de produire ces tests de façon à ce que des questions similaires se rencontrent dans leur analyse, et notamment les questions relatives à l’hétérogénéité d’un objet, à la subordination d’une action vis-à-vis d’une autre ainsi qu’à la réflexivité prédicative.

Les résultats des tests sont-ils comparables ? Ils le sont en effet, dans la mesure où ils permettent dans les deux cas de statuer clairement sur le caractère sémiotique des images, contre les hypothèses concurrentes d’opacité pure ou de transparence pure. On observera cependant que les résultats du second test présentent une homogénéité bien plus grande que ceux du premier test. Dans le premier test, en effet, les réponses obtenues offraient une répartition de solutions assez disparate. De fait, trois options interprétatives comparables (que nous avons appelé des « versions ») s’y partageaient, après bien des accommodements analytiques et sous de nombreuses conditions d’interprétation, 80% du corpus, laissant tout de même un cinquième des réponses hors catégorisation. Dans le second test, non seulement le reste de la catégorisation analytique proposée est minime (2 cas), mais la catégorisation privilégie massivement une option interprétative, laquelle regroupe 80% du corpus à elle seule. Est-ce à dire que ce second test est plus réussi que le premier ? ou bien que notre analyse en a été plus heureuse ? En fait, ces deux questions se recoupent très largement, et ceci offre la possibilité d’un enseignement à portée théorique sur l’usage des images dans le discours scientifique.

Rappelons qu’en conclusion du premier volet de notre étude il a été reconnu que les images et les textes dans le discours scientifique ont en commun de présenter des analyses de leur objet. Les analyses constituent ainsi l’élément intersémiotique d’un discours scientifique polysémiotique, dans la même mesure qu’au cinéma l’intersémiotique des images et des dialogues définit un récit. Nous disons bien toutefois que l’intersémiotique scientifique présente des analyses alors que dans un film on ne reconnaît qu’un récit. C’est qu’une analyse dispose autrement qu’un récit des puissances polysémiotiques. Une analyse offre la possibilité d’une fonction métalinguistique vis-à-vis d’un objet et cette fonction est strictement vectorisée : des énoncés appartenant à différents types de langage — verbal et visuel — ne sauraient rendre convergentes leurs fonctions métalin-guistiques. Mais nous constations alors que l’image et le texte sont investis dans le discours scientifique par des fonctions métalinguistiques réciproques rendant homologable l’objet de leurs analyses ; et que c’est en vertu de ces fonctions métalinguistiques réciproques qu’est garantie la cohésion discursive d’un travail scientifique.

Bien sûr, tout texte n’est pas voué à l’analyse, non plus que toute image. Certains textes comme certaines images sont plus susceptibles de s’accommoder d’une telle fonction. Or les catégorisations de textes et d’images nous indiquent peut-être ici une différence concernant leurs statuts sémiotiques respectifs. Les textes sont catégorisés selon des genres qui contraignent leurs formes morphosyntaxiques et les règles de propagation sémantique. La catégorisation en genres s’applique sans doute également aux images mais elle est dépendante d’une autre catégorisation, largement prépondérante : la catégorisation des formats d’images. Du reste, c’est parce que les images sont catégorisées d’abord selon leurs formats qu’on a longtemps hésité, en sémiotique, entre deux descriptions des images, soit une description généraliste du langage visuel, soit une description particulariste en langage cinématographique, langage pictural, langage graphique, langage de la bande dessinée, etc. Par format, il faut entendre un modèle prégnant actualisable, susceptible de prédéterminer, dans le cas des images, des traits texturaux, formels et lumineux. En fonction de leurs formats on peut différencier, généralement dès le premier coup d’œil, un tableau peint à l’huile d’une aquarelle, ou un film pellicule d’une vidéo, ou encore un schéma d’un tableau, et cette reconnaissance d’un format attribué à l’image produit des prescriptions sur leur interprétation au moins aussi importante que le font les prescriptions des genres pour les textes. Quant aux textes, si la catégorisation selon les formats (numérique, imprimé, manuscrit, etc.) est effective, elle ne soumet pas celle des genres et offre du reste peu d’indices à l’interprétation des textes.

Les fonctions métalinguistiques des textes et des images dans le discours scientifique, tout en assurant des relais de contrôle entre eux, laissent dès lors la possibilité d’un parcours qui les dispose dans un ordre, sinon fixé d’avance et absolument, du moins significatif et sans doute déterminant pour la recevabilité même de l’argumentation scientifique. Quel format d’image précède quel genre de texte ? Les résultats des tests que nous avons mis en place ne peuvent rien nous dire sur cet ordre sauf la nécessité de s’en inquiéter…