Pourquoi n'entends-je pas clairement lorsque j'enlève mes lunettes ?

Certaines personnes myopes peuvent constater un phénomène étrange : lorsqu’elles parlent à d’autres personnes, si elles enlèvent leurs lunettes, leur vision devient floue et leur voix semble devenir floue. Cela signifie-t-il que la vision humaine peut également « entendre » des choses ?

En fait, c'est presque vrai ! Nos yeux peuvent nous aider à « entendre » les choses, c’est-à-dire que la vision peut aider à entendre.

Notre cerveau est en fait un système dans lequel plusieurs systèmes sensoriels fonctionnent ensemble. Les différents canaux sensoriels (tels que la vision, l’ouïe, le toucher, l’odorat et le goût) ne sont pas isolés les uns des autres. Les réseaux neuronaux du cerveau sont hautement connectés et il existe un grand nombre de connexions interactives entre ces zones sensorielles. Par exemple, le lobe temporal est responsable du traitement auditif et le lobe occipital est responsable du traitement visuel, et il existe de nombreuses fibres nerveuses entre ces zones qui peuvent transmettre des informations et coordonner des activités. Chacun d’eux fournit des informations que le cerveau fusionne pour améliorer la précision et la richesse de la perception. [1]

À l’aide de techniques d’imagerie cérébrale, telles que l’imagerie par résonance magnétique fonctionnelle (IRMf) et d’enregistrements électrophysiologiques, les chercheurs ont observé une activité dynamique dans ces zones en réponse à une stimulation multisensorielle. Prenons l’exemple du secteur audiovisuel :

Lorsque les informations visuelles et auditives apparaissent de manière synchrone, il y aura une activité évidente dans le cortex visuel situé dans le lobe occipital, qui est le premier arrêt du traitement des informations visuelles et est responsable du traitement des caractéristiques visuelles de base telles que la forme, la couleur et le mouvement. Il existe également une activité significative dans le cortex auditif, situé dans le lobe temporal, qui est responsable du traitement des caractéristiques primaires de l’information auditive, telles que la fréquence et le volume. L’IRMf montre que l’activité du cortex auditif traite non seulement les informations sonores, mais répond également aux stimuli qui apparaissent simultanément avec les informations visuelles.

Dans ce processus, le sillon temporal supérieur (STS) est une zone d’intégration multisensorielle importante, notamment dans l’intégration audiovisuelle. Le sillon temporal supérieur reçoit des informations du cortex visuel primaire et du cortex auditif primaire et est également connecté à d'autres zones corticales supérieures. Des études de neuroimagerie (telles que l’imagerie par résonance magnétique fonctionnelle (IRMf) et la tomographie par émission de positons (TEP)) ont montré que le sillon temporal supérieur présente une activité neuronale accrue lors du traitement d’informations visuelles et auditives présentées simultanément. Autrement dit, lorsque les informations visuelles et les signaux auditifs apparaissent de manière synchrone, le sillon temporal supérieur peut intégrer les deux sens en comparant ces signaux. Par exemple, lorsqu’une personne voit et entend une personne parler, le sillon temporal supérieur combine les mouvements visuels de la bouche avec les signaux auditifs de la parole, améliorant ainsi la compréhension de la langue.

L'étonnant phénomène du cerveau « synthétisant » l'audition (effet McGurk)

Cette intégration entre la vision et l’audition conduit également à un phénomène psychologique classique appelé l’effet McGurk. Ce phénomène a été découvert pour la première fois par Harry McGurk et John MacDonald en 1976, lorsque les participants qui voyaient la bouche d'une personne émettre un son « ga » mais entendaient un son « ba ​​» rapportaient souvent entendre un « da » ou un autre troisième son à la place. [2][3]

Cet effet montre que lorsque les informations visuelles et auditives sont incohérentes, les personnes auront une fusion de l'expérience perceptive, et parfois l'audition des personnes sera affectée par la vision, ce qui entraînera des résultats cognitifs erronés. Cet effet révèle le rôle important de la vision dans la perception de la parole et le mécanisme complexe par lequel le cerveau intègre différentes informations sensorielles.

L’effet McGurk résulte également du mécanisme d’intégration multisensorielle. Le sillon temporal supérieur (STS) et le cortex préfrontal du cerveau sont responsables de l’intégration des informations provenant des canaux visuels et auditifs. L'effet McGurk stipule que lorsque deux informations sensorielles (visuelle et auditive) sont en conflit, le cerveau tente de rationaliser et de fusionner les informations en une expérience perceptive cohérente. [4]

Ce phénomène peut clairement illustrer que notre audition ne provient pas simplement du canal auditif, mais est le résultat d'une « synthèse » par le cerveau. Plus précisément, lorsque les yeux voient une action de parole et que les oreilles entendent des signaux de parole différents, le cerveau mélange ces informations, ce qui fait que la parole perçue n’est ni entièrement basée sur la vision ni entièrement basée sur l’audition, mais sur une combinaison des deux. Ce processus de perception fusionnelle suggère que la vision peut, dans certains cas, influencer notre perception de la parole plus que l’audition.

Alors, est-ce que parler à différentes personnes affecte l’effet audiovisuel ?

En fait, c'est vraiment le cas. Par exemple, parler à des personnes familières et parler à des personnes inconnues produira des effets McGurk différents.

La familiarité du visage de l’orateur peut également affecter notre cognition. Des études ont montré que si l’expérimentateur connaît mieux le visage de l’orateur, l’effet McGurk est plus faible, ce qui signifie que notre audition est moins susceptible d’être affectée par la vision. Au contraire, si vous parlez à quelqu’un que vous ne connaissez pas, vous devez mobiliser votre vision pour comprendre ce que dit l’autre personne, et l’effet McGurk est plus fort. [5]

L’effet McGurk varie selon les conversations entre locuteurs de langues différentes. Étant donné que la structure des phonèmes et les règles de prononciation varient selon les langues, cela peut également affecter l’effet McGurk. Par exemple, certaines langues peuvent avoir davantage de consonnes doubles ou des prononciations de consonnes complexes, et ces composants phonétiques complexes peuvent faire en sorte que les informations visuelles jouent un rôle plus important dans la perception de la parole. Par exemple, l’effet McGurk est plus fort en cantonais qu’en mandarin, ce qui signifie que les utilisateurs de la langue s’appuient davantage sur les informations visuelles.

La culture de communication entre les personnes de différents pays affectera également l’effet McGurk. Par exemple, de nombreuses cultures asiatiques (comme le Japon et la Corée) accordent davantage d’importance à l’interprétation des expressions faciales et du langage corporel au cours des conversations, ce qui peut rendre les locuteurs asiatiques plus dépendants des informations visuelles pour la compréhension de la parole. En revanche, certaines cultures occidentales peuvent accorder davantage d’importance à une communication verbale précise et donc moins s’appuyer sur les informations visuelles dans les expériences sur l’effet McGurk.

Quelle est l’importance de comprendre le phénomène d’intégration audiovisuelle ?

Comprendre les mécanismes derrière l’intégration visuelle et audio du cerveau humain pour l’audition pourrait également aider à exploiter cela dans le domaine de l’intelligence artificielle. Par exemple, le développement d’un système de reconnaissance vocale multimodale et la combinaison d’informations visuelles avec la reconnaissance vocale peuvent améliorer la précision de reconnaissance du système dans les environnements bruyants.

Dans le même temps, cela peut également être appliqué aux appareils auditifs conçus pour les malentendants. Associé à des informations visuelles, il améliorera considérablement la capacité de compréhension de la parole de l'utilisateur. Par exemple, en combinant la technologie de lecture labiale, le manque de certaines informations auditives peut être compensé.

Bien sûr, comprendre l’intégration audiovisuelle peut également nous aider à résoudre les problèmes quotidiens. Par exemple, cela peut nous aider à comprendre les mécanismes complexes qui se cachent derrière la « surdité ». La prochaine fois que nous ne pourrons pas entendre les autres parler clairement, nous n’aurons pas à douter que nous sommes « sourds » (c’est peut-être parce que nous avons besoin d’une nouvelle paire de lunettes).

Références :

[1] Stein BE, Stanford T R. Intégration multisensorielle : enjeux actuels du point de vue du neurone unique[J]. Nature reviews neuroscience, 2008, 9(4): 255-266.

[2] https://www.youtube.com/watch?v=jtsfidRq2tw

[3] McGurk H, MacDonald J. Entendre des lèvres et voir des voix[J]. Nature, 1976, 264(5588): 746-748.

[4] Nath AR, Beauchamp M S. Une base neuronale pour les différences interindividuelles dans l'effet McGurk, une illusion de parole multisensorielle[J]. Neuroimage, 2012, 59(1): 781-787.

[5] Walker S, Bruce V, O'Malley C. Identité faciale et traitement de la parole faciale : visages et voix familiers dans l'effet McGurk[J]. Perception et psychophysique, 1995, 57(8) : 1124-1133.

[6] Combinaison de méthodologies comportementales et ERP pour étudier les différences entre les effets McGurk démontrés par les locuteurs cantonais et mandarin

Auteur : Wu Qiong (créateur de vulgarisation scientifique)

Examinateur : Pan Chunchen, médecin-chef adjoint du département d'oto-rhino-laryngologie, premier hôpital affilié de l'université des sciences et technologies de Chine

L'article est produit par le programme de vulgarisation scientifique de Chine-Création Cultivation. Veuillez indiquer la source lors de la réimpression.