Figure

OBJECTIF

L'Action de la Plateforme est une action de programme pluriannuelle, interne au Département Communication Homme-Machine (CHM), qui a été mise en place début 1995 dans le cadre de programmes thématiques et interdisciplinaires du CNRS, tels que :

• les axes prioritaires du département scientifique SPI (Sciences pour l'Ingénieur) Machines et Structures Intelligentes et Interactions Homme-Machine,
• l'action concerté entre les deux départements scientifiques du CNRS SPI et SHS (Sciences de l'Homme et de la Société), Cognition, Communication Intelligente et Ingénierie des Langues (axe Image, Geste et Langage), qui traitait des problèmes relatifs aux Sciences du Langage.

L'objectif principal est de bénéficier des compétences pluridisciplinaires présentes au sein de chaque groupe du Département et de les intégrer, avec les ressources et technologies de pointe disponibles sur le marché, dans une infrastructure permettant une interopérabilité entre les différents modules. Il s'agit en fait de mettre `a disposition de la communauté scientifique une architecture modulaire et ouverte s'appuyant sur des standards de communication, tels que CORBA, et autorisant la réutilisation des constituants de base dans divers domaines d'application. A titre d'exemple, deux noyaux de gestion de la multimodalité précédemment développés dans le groupe Interaction et Multi-Modalités (IMM) et fondés sur des approches différentes, les réseaux `a transition augmentés (ATN) pour le noyau SPECIMEN, et les réseaux `a Propagation Guidée (RPG) pour le noyau TYCOON, sont actuellement validés dans plusieurs applications.

Depuis trois ans, le champ d'expérimentation tourné principalement vers la communication homme-machine, s'oriente plus particulièrement vers les aspects de la communication homme-homme médiatisé, en raison de l'extension des réseaux (tels que Numéris et Internet) et de la multiplication d'équipements portables : ceci permet l'intégration de nouvelles techniques non seulement dans le milieu professionnel mais plus généralement dans la vie quotidienne. Dans ce nouveau contexte, il ne s'agit plus seulement d'évaluer les performances d'un système en termes de taux d'erreur, mais bien plutôt d'en tester l'adéquation aux besoins et attentes de l'utilisateur qui devient le centre des préoccupations. Il est dès lors primordial de prendre en considération l'aspect socio-économique, afin d'anticiper les usages futurs pour les intégrer si possible dès la conception des systèmes, et procéder à leur évaluation dans des situations réalistes.

Cet enjeu rend nécessaire la création d'un réseau de compétence qui s'appuie sur des liens tissés avec des laboratoires de recherche (académiques et industriels) et des organismes d'utilisateurs potentiels, aux niveaux tant local, national, qu'international. Dans cette optique, l'anné 1997 a vu notamment :

• la concrétisation de collaborations avec des industriels tels que la Société PSA ou la PME TechniBraille (avec l'accueil d'un post-doctorant grâce à une bourse cofinancé),
• la mise en place d'un consortium europén dans le cadre du projet Magic Lounge du réseau d'Excellence I3net du Programme ESPRIT LTR I3 (Intelligent Information Interfaces).

DESCRIPTION

Afin de bénéficier des compétences présentes au sein du Département, les travaux du comité se sont tout d'abord organisés autour de trois domaines d'application précédemment explorés :

• Aide à la navigation automobile intégrant geste et langage 
  Ce champ d'application a permis, à partir de travaux initiés par les groupes Langage & Cognition (L&C) et Cognition Humaine (CH), de mettre en place une collaboration avec PSA sur la définition du poste de conduite du futur. En 1997, une première étude s'est attaché à réaliser un << état de l'art de l'usage de diverses modalités dans l'activité de conduite >>. Par ailleurs, un contrat GIS Sciences de la Cognition associant les groupes L&C, IMM, CH ainsi que PSA, a pour objectif l'analyse de dialogues de pilote et co-pilote enregistrés à bord d'un simulateur de PSA afin d'en faire une modélisation informatique. Le premier prototype, utilisant le noyau TYCOON et intégrant une base de donnés géographiques de l'IGN, pourra ainsi être enrichi. Dans ce même domaine, une collaboration s'est développé avec le Stanford Research Institute (SRI, Etats-Unis), pour l'analyse de dialogues d'interprétation de cartes géographiques, enregistrés avec la technique du Magicien d'Oz (machine simulé).

• Aide au handicap visuel
  

  Une première collaboration du groupe IMM avec l'INJA et l'INSERM avait permis la réalisation d'un gestionnaire de documents (Méditor) pour aveugles, utilisant le noyau SPECIMEN. Il s'agit actuellement d'étendre ce noyau pour faciliter aux non-voyants l'accès à la Toile (Web) et aux services associés, tels que les pages HTML, le courrier électronique et le téléchargement de fichiers. Cette étude mené en collaboration avec la PME TechniBraille, permet d'utiliser la multimodalité pour rendre compte de la variété des informations visuelles (images, vidéo, animation) présentes sur Internet, et pour les convertir dans d'autres modes de communication (sonore ou tactile, par exemple) plus aisément interprétables par les non-voyants.

• Aide à la conception d'objets tridimensionnels
  

  L'étude sur l'environnement de modélisation géométrique d'objets tridimensionnels Mix3D (Multimodal Interactions in a X environment with a 3D virtual space), fut en partie soutenue de 1994 à 1996 par l'Action SPI-SHS << Système de Production >> du CNRS. Un serveur de modalités EMUX sous Unix/X11, développé dans ce cadre, permet la collecte d'événements non-standards et leur acheminement vers le client approprié. Dans cette même thématique, un projet fédérateur de plus grande envergure sur les environnements virtuels initié dans le groupe IMM, en collaboration notamment avec l'INRIA, pourrait être élaboré cette anné, et permettre de se doter de moyens de visualisation virtuelle. Des échanges avec la plateforme sont prévus pour favoriser la réutilisation des modules développés.

L'intégration d'autres thématiques dans des domaines plus généraux est actuellement étudié :

• Prise en compte du contexte visuel de l'interaction
  

  Les recherches en cours sur la vision par machine dans le groupe IMM permettent d'envisager l'intégration d'outils de perception visuelle, notamment pour la détermination de la direction du regard, afin de faciliter la communication d'utilisateurs dans une application de type collecticiel. Une autre étude visant à faciliter la lecture du Braille pourra à terme être intégré dans l'application lié au handicap visuel.

• Communication multimodale homme-homme médiatisé 
  

  Dans le cadre du programme ESPRIT LTR I3, le LIMSI est membre fondateur du réseau d'Excellence I3net, créé en 1996 sous la coordination du Maersk Mc-Kinney Moller Institute (MIP) de l'Université d'Odense (Danemark) (anciennement Centre for Cognitive Science (CCS) de Roskilde University). Des études sur l'état de l'art dans le domaine de la communication médiatisé pour le grand public, notamment sur les systèmes coopératifs existant sur Internet, ont été effectués en collaboration avec le MIP. Le LIMSI participe également à un des projets de ce réseau : Magic Lounge. L'objectif est d'offrir à des utilisateurs non-professionnels un espace de communication collective et multimodale. L'une des activités de référence prévue est de permettre à des participants, répartis géographiquement, d'élaborer un voyage en commun. La coordination de ce projet est assuré par le DFKI de Saarbrücken (Allemagne) ; les autres participants sont le MIP (Danemark), Siemens AG (Allemagne), l'Université de Compiègne et l'Association << Bank of Ideas of the Smaller Danish Isles >> (Danemark) qui constitue une communauté d'utilisateurs potentiels. Les hypothèses de base sont les suivantes :

  • les participants ont à leur disposition des matériels hétérogènes (du téléphone mobile à la station multimédia à haute définition, par exemple),
  • ils peuvent mener une conversation tout en ayant accès à n'importe quel service disponible localement ou sur Internet,
  • à terme, en cas d'empêchement, ils pourront se faire représenter par un délégué virtuel ou un avatar,
  • à terme également, Magic Lounge pourra jouer le rôle de modérateur.

Cette anné, le LIMSI (groupes L&C, IMM et Département CHM) est responsable des tâches d'accès aux sources d'information externes (Internet et bases de donnés locales), et d'interrogation orale et gestuelle de représentations graphiques. Le LIMSI participe également à la définition d'un historique qui permet de connaître la séquentialité des échanges entre les utilisateurs, ainsi qu'à l'analyse socio- économique de groupes préparant un voyage. Cette dernière activité est mené en collaboration étroite avec l'Université de Compiègne.

Une toute première maquette, présenté lors de l'exposition EITC'97 à Bruxelles en novembre dernier, intégrait quelques unes des fonctionnalités prévues. Le prototype qui sera démontré en juillet prochain pourrait s'articuler autour du logiciel Java Habanero. Un navigateur sur la Toile interrogeable avec la parole a été mis au point au LIMSI, intégrant le composant HotJava de SUN et les APIs IBM de ViaVoice (figure 1). L'architecture du prototype dont le LIMSI sera responsable la deuxième anné du projet, devrait s'inspirer des travaux menés par le groupe L&C sur les structures multi-agents intelligents distribués.

CONTACTS ÉTABLIS OU EN COURS

• Animation scientifique et participation à des groupes de travail, à des comités scientifiques de conférences et séminaires :

  • Association Française d'Informatique Graphique (AFIG), GTM3 Multimodalité du GDR-PRC CHM (Communication Homme-Machine) (jusqu'à fin 1997), Action Inter-PRC 10.2 - GDR-PRC ISIS / CHM, GDR-PRC thématique I3 (Information, Interaction, Intelligence)
  • Journés IHM'97, 98, Conférence Internationale de Montpellier'97 sur l'Interface des mondes réls et virtuels, Conférence Internationale sur Complex Systems, Intelligent Systems & Interfaces, Nîmes 1998 (à laquelle seront présentés plusieurs communications sur l'accès à la Toile pour les non-voyants, sur le projet Magic Lounge et sur l'architecture multi-agents), ECAI Workshop on Artificial Intelligence and Graphics, 4th Conference on Human Factors and the Web 98, 2nd International Conference on Cooperative Multimodal Communication (CMC'98), Colloque Jeunes Chercheurs en Sciences Cognitives

• Organismes de recherche : CLIPS-IMAG (Grenoble), Ecole d'Architecture de Marseille-Luminy, ENST, INRIA-Rocquencourt, IPO (Eindhoven, Pays Bas), DFKI de Saarbrücken (Allemagne), MIP Université d'Odense (anciennement Centre for Cognitive Science (CCS) of Roskilde University) (Danemark), IRSIT de Tunis (Tunisie), MIT MediaLab (Etats-Unis), Rutgers University (Etats-Unis), SRI (Etats-Unis), Université de Compiègne.
• Organismes d'utilisateurs : INJA (Institut National des Jeunes Aveugles), SNCF
• Entreprises industrielles : EDF, PSA, TechniBraille, Siemens

• Projet dans le cadre du Réseau Formation-Recherche France-Tunisie en collaboration avec l'IRSIT de Tunis, visant à l'utilisation de SPECIMEN dans un système multimodal d'aide à la décision pour la résolution de problèmes de coupe (responsables : D. Teil (LIMSI) et R. M'Hallah (IRSIT))
• Projet dans le contexte du programme MIRIHADE (responsable : R. Gherbi)
• Projet, dans le contexte du biennal, du Département d'Informatique de Paris XI : Prise en compte du Contexte en Multimodal et en Collecticiel. Application : Médiaspace (responsables : R. Gherbi (LIMSI) et M. Beaudouin-Lafon (LRI))

MEMBRES PARTICIPANT AU COMITÉ

• Responsable : Françoise Nél (multimodalité).

• Membres actifs : G. Adda (langage parlé), Y. Bellik (multimodalité), P. Bourdot (modélisation objets 3D), X. Briffault (langage naturel, agents intelligents), M.-P. Daniel (psychologie cognitive), M. Denis (psychologie cognitive), L. Devillers (langage parlé), B. Doval (langage parlé), R. Gherbi (vision par machine), C. Henry (socio-économie), J.-S. Liénard (perception), J. Mariani (parole, multimodalité), J.-C. Martin (multimodalité), D. Teil (multimodalité).

1998-08-18