Communication Multimodale Médiatisée: Application à la Télémédecine

_____________________

Y. Bellik, J. Pescatore, D.Teil

Figure

Objet

Ce travail s'inscrit dans le domaine de la communication Homme-Homme Médiatisée par la Machine ( CH2M2) et plus spécifiquement dans celui de la conception et de l'architecture des systèmes de communication multimodale dans le travail coopératif assisté par ordinateur (TCAO). Les travaux de recherche présentés décrivent les nouveaux problèmes posés par ce type de communication et proposent des solutions dont une a été testée, à travers une réalisation aboutie.

Description

Dans ce travail nous avons cherché à réaliser un médiaspace synergique où toutes les modalités peuvent être combinées pour permettre à plusieurs utilisateurs de communiquer à travers un réseau informatique. Une telle combinaison des modalités pose deux problèmes majeurs. Le premier impose que la communication puisse s'établir en temps réel quelle que soit la bande passante du réseau sur lequel transitent les messages multimodaux. Le second concerne la synchronisation des communications. La restitution des messages par la machine doit être temporellement fidèle par rapport à la production de ceux-ci par l'utilisateur. Nous avons choisi de privilégier l'envoi de données symboliques plutôt que des données brutes car les données symboliques constituent une sorte de compression ultime en ne gardant que la sémantique des modalités. Par exemple, dans le cas de la Parole, nous envoyons la chaîne de caractère produite par un système de reconnaissance de parole et non pas le signal audio brut. L'application Multiple Sclerosis Network, qui illustre notre médiaspace synergique, est un outil informatique qui permet à deux neurologues distants de communiquer entre eux au moyen des modalités parole et geste (2D) sur le réseau Internet tout en partageant une même image IRM de coupe du cerveau (fig. 1). Ces images ne peuvent pas être modifiées par les deux médecins mais ils peuvent effectuer dessus des gestes de désignations (pointage, entourage, etc.) tout en émettant des commentaires vocaux. Typiquement un médecin peut dire `` je pense que cette tâche ici est une lésion '' tout en effectuant un geste d'entourage sur la zone en question. Afin de reproduire fidèlement ce message multimodal chez le récepteur et afin que la communication puisse s'établir en temps réel même sur un réseau à bande passante limitée, notre système procède d'abord à la reconnaissance de la phrase produite chez l'émetteur puis envoie au récepteur un message constitué de la phrase reconnue et des coordonnées du geste enregistré. A la réception le système reproduit le message multimodal à travers la synthèse de parole tout en déplaçant un curseur (représentant le curseur de l'émetteur) et tout en respectant les relations temporelles entre les deux messages monomodaux.

Résultats et perspectives

La maquette du médiaspace synergique réalisée dans le cadre de cette étude a montré la validité des principales options adoptées pour sa mise en oeuvre. Le modèle d'architecture bien que testé dans le cas de deux utilisateurs seulement, s'est avéré correct. La prochaine étape de notre travail consistera à l'étendre à une communication entre plus de 2 utilisateurs. Ce travail a permis de formaliser les caractéristiques principales de la Communication Homme-Homme Multimodale Synergique Médiatisée par la Machine. Le principe d'utiliser un système de Reconnaissance/Synthèse présente non seulement l'intérêt d'une réduction ultime de la bande passante nécessaire mais ouvre, grâce à la disponibilité du contenu sémantique des messages transmis, la voie à des pré-traitements ``intelligents`` par la Machine au service de la Communication Homme-Homme.

Gpe Interaction et Multi-Modalités

Dpt CHM

+ Sommaire

Présentation

visiteurs.