GROUPE INTERACTION ET MULTI-MODALITÉS

_____________________

A. Osorio

Exemples d'Activités de Recherche du groupe

INTRODUCTION

Les recherches effectuées dans le groupe IMM s'intéressent aux problématiques de l'interaction et de la réactivité, où plusieurs interlocuteurs dialoguent avec plusieurs systèmes en intégrant des ressources de nature différente. La conception et la mise en oeuvre de systèmes où des utilisateurs gèrent des processus, en dialoguant entre eux, en même temps qu'avec des machines considérées comme outils de restitution d'informations, mais aussi de validation de simulations et d'aide à la prise de décisions, constituent l'objectif des activités du groupe IMM.

Trois orientations sont abordées de manière plus fondamentale dans le groupe :

Au cours de l'année 1998 la priorité du Groupe IMM a été l'ouverture vers les communautés nationale et internationale. Des nouvelles collaborations ont été mises en place avec l'Université de Chicago (Urbana - Champaign), avec REGINOV et avec la Fédération Mutualiste Parisienne.

Les activités de recherche en imagerie médicale, lancées depuis 4 ans en étroite collaboration avec des centres médicaux nationaux et internationaux, ont atteint une certaine maturité.

Au début de l'année 1999 deux manifestations internationales ont été organisées dans le cadre des activités du Groupe IMM : Le Gesture Workshop 1999, organisé à Orsay, et la Première Journée de l'Imagerie médicale organisée à Nancy dans le cadre du Festival du Film de chercheur du CNRS.

LES THÈMES DE RECHERCHE

THEME 1 : VISION PAR MACHINE

R. Gherbi, O. Bedelet, A. Braffort, C. Collet, A. Osorio, J. Rivaillier, D. Roussel, H. Ruellan

La vision est étudiée selon deux axes de recherche :

THEME 2: RECONSTRUCTION, REPRÉSENTATION ET INTERACTIONS 3D

P. Bourdot, G. André, O. Bedelet, M. Dromigny, R. Gherbi, M. Krus, P. Macé, A. Osorio, D. Roussel

Ce thème de recherche relève globalement de la modélisation géométrique. Cette année, la problématique représentation 3d s'est principalement développée en relation avec les travaux des deux autres axes de recherche de ce thème. Menée en collaboration avec le thème << Vision >> du groupe, la problématique de la reconstruction 3d a tout d'abord été marquée par l'aboutissement de la thèse de D. Roussel qui, dans le contexte du projet ROSA (Reconstruction d'Objets 3d par Stéréo-Acquisition), a proposé une approche originale de coopération Analyse / Synthèse d'Images pour la reconstruction d'objets de formes libres. Cette approche est en particulier basée sur des analyses photoclinométriques locales pour mener à bien la reconstruction et le raffinement de surfaces triparamétriques. Une seconde approche traite plus particulièrement des images médicales (cf pages de présentation). M. Dromigny a commencé une thèse sur la reconstruction polyédrique de scènes réelles uniquement connues par les images de films mono-scopiques. Cette reconstruction est << adaptative >> au sens où le modèle reconstruit est déformé à chaque nouveau point de vue, pour réduire de proche en proche l'erreur apparente de cette reconstruction par rapport à la scène réelle. Du côté de la problématique interaction 3d, notre activité a été marquée par le lancement du projet EVI3d (Environnements Virtuels et Interaction 3d). Après l'acquisition et la mise en service d'une ONYX et de lunettes stéréoscopiques, nous avons tout d'abord travaillé sur une approche nouvelle dans la manière dont un utilisateur peut contrôler sa navigation dans une scène virtuelle. Le paradigme interactif que nous proposons avec M. Dromigny vise à ce que la seule capture des mouvements de la tête puisse libérer les mains de l'utilisateur du maniement de périphériques de type << joystick >>. L'une des applications de ce paradigme sera le contrôle de la navigation virtuelle d'un utilisateur dans les simulations en relief de d'écoulements. Un stage de DEA co-encadré avec C. Tenaud (membre du groupe << Dynamique des Fluides >> du département << Mécanique-Energétique >>) est d'ailleurs en train de commencer sur ce type de données. Pour des navigations interactives dans des scènes de nature très différente, nous poursuivons nos travaux sur la gestion de détails d'installations industrielles virtuelles. Ce sujet, qui fait l'objet d'un contrat avec la DER de EDF, va voir cette année un certain aboutissement par la soutenance en juin prochain de la thèse de M. Krus (bourse CIFRE).

THEME 3: GESTE, MOUVEMENT ET ANIMATION

S. Gibet, A. Braffort, M.F. Castaing, F. Julliard, T. Lebourque, D. Teil

Les travaux dans le cadre de l'animation de personnages de synthèse se poursuivent, dans deux directions principales : la première concerne la synthèse de gestes de la Langue des Signes, la seconde est dédiée à la synthèse de mouvements plus automatisés tels que la marche, la course ou le jonglage, et s'appuie sur une méthode de spécification de mouvements basée sur un modèle réactif, c'est-à-dire apte à contrôler les personnages à partir de données sensorielles prélevées dans le milieu d'évolution.

L'étude de la synthèse de gestes de la Langue des Signes a fait l'objet du travail de thèse de Thierry Lebourque (thèse soutenue le 3 novembre 1998). Les objectifs de ce travail étaient de développer un système de production de gestes de communication à partir d'une description qualitative de haut niveau de la commande à fournir au moteur de génération. Les gestes synthétiques, exécutés par un personnage virtuel, possèdent des caractéristiques propres au geste naturel. Ils sont produits à l'aide d'un moteur de génération de mouvement inspiré du contrôle sensori-moteur et des théories de l'automatique. Ce moteur contrôle des modèles géométriques respectant les contraintes morphologiques et articulaires des bras et mains humains. La commande se fait par spécification de cibles spatio-temporelles discrètes (positions spatiales ou configurations angulaires). Le modèle permet de réaliser le passage de la spécification discrète au mouvement continu. L'ajout de fonctions d'émergence de cibles rend possible la gestion de la coarticulation, c'est-à-dire la prise en compte des cibles passées et à venir lors de la production du mouvement. Ainsi il est possible d'obtenir des mouvements complexes fluides et de gérer automatiquement la concaténation de mouvements en temps réel. Un système de description qualitative de la commande est proposé, qui repose sur une représentation symbolique discrète de l'espace, et est quasi-indépendant du système de génération. Les gestes sont décomposés en primitives de base issues de l'étude du vocabulaire de la Langue des Signes Française. Ces primitives sont combinées pour obtenir les mouvements désirés des bras, des mains et des doigts. L'ensemble permet de produire des gestes synthétiques dont les caractéristiques sont celles des gestes naturels. Une double validation est proposée, à la fois qualitative et quantitative, notamment par comparaison avec des mouvements réels.

L'activité relative à l'analyse et la reconnaissance des gestes de la main porte sur l'étude des gestes de la Langue des Signes Franç aise et des gestes co-verbaux dans un contexte de communication multimodale. Les recherches en cours allient des méthodes issues à la fois du traitement numérique de l'information et de la linguistique.

THEME 4: COMMUNICATION MULTIMODALE

Y. Bellik, D. Teil, D. Béroule, S. Farhat, J.C. Martin, F. Néel, C. Toffano-Nioche

Les problèmes fondamentaux abordés dans ce thème sont liés d'une part, à l'étude et à la réalisation de systèmes informatiques intégrant des dispositifs d'interaction non conventionnels (écrans tactiles, systèmes de reconnaissance/synthèse de parole, de reconnaissance de gestes, de vision, etc.), et d'autre part à la conception d'interfaces Homme-Machine dites ``intelligentes`` capables de gérer dynamiquement les processus d'interaction.

L'un des domaines d'application concerne l'aide au handicap visuel avec l'étude et la réalisation d'interfaces plus adaptées. Dans ce cadre, en collaboration avec la société TechniBraille une étude sur l'accès à Internet et notamment au WEB par des utilisateurs aveugles a conduit à la réalisation d'un logiciel baptisé ``SeeWeb`` qui est actuellement en cours d'évaluation par Technibraille.

Plusieurs actions de recherche sont menées dans le domaine de la communication Homme-Homme médiatisée par la machine. La première, dans le cadre du projet européen Magic Lounge ESPRIT-LTR Programme I3 (Intelligent Information Interfaces), concerne l'utilisation de la multimodalité pour permettre à des utilisateurs de combiner reconnaissance vocale et gestes afin d'accéder à des informations sur Internet, et d'autre part, pour étudier l'intégration transparente des médias de communication homme-homme. Une seconde action de recherche, menée en collaboration avec le laboratoire CREATIS de Lyon, dans le domaine du télédiagnostic médical, est en cours.

La coopération avec l'Institut de Recherche de Stanford (SRI International) sur l'analyse du comportement multimodal de sujets lors d'expériences de type Magicien d'Oz a permis d'aborder le problème de l'évaluation des interfaces multimodales.

Par ailleurs, l'étude de l'application des interfaces multimodales pour la résolution de problèmes de coupe industrielle traitée dans le cadre d'un réseau Formation-Recherche France-Tunisie en collaboration avec l'Institut Régional des Sciences Informatiques et des Télécommunications (IRSIT) de Tunis, se poursuit.

Une collaboration avec PSA a abouti à une étude sur l'état de l'art de l'usage de diverses modalités dans l'activité de conduite. Nous avons participé également au projet GIS Sciences de la Cognition sur les systèmes de dialogue pour l'aide à la navigation automobile. Ces projets ont été menés en collaboration étroite avec les groupes Langage et Cognition, Cognition Humaine et le Département Communication Homme-Machine (aspects sociologiques), notamment dans le cadre des activités de la Plate-Forme de Communication Multimodale.

Par ailleurs, l'un de nos chercheurs est actuellement en train de prendre les contacts nécessaires afin de créer une entreprise et de valoriser une approche originale fondée sur les Réseaux à Propagation Guidée.

Dpt CHM

+ Sommaire

Présentation

visiteurs.