PLATE-FORME DE COMMUNICATION HOMME-MACHINE MULTIMODALE

_____________________

F. Néel, J.-C. Martin, X. Briffault

Figure

RAPPEL HISTORIQUE

Créée en 1995, à la suite d'une réflexion menée par un groupe de travail sous la responsabilité de Jean-Sylvain Liénard, l'Action de la Plate-Forme se présente actuellement comme une action pluridisciplinaire interne au Département Communication Homme-Machine (CHM).

Cette action a bénéficié du soutien de plusieurs programmes thématiques et interdisciplinaires du CNRS :

$\bullet$ l'axe prioritaire Machines et Structures Intelligentes (SPI),

$\bullet$ l'action concertée Cognition, Communication Intelligente et Ingénierie des Langues (axe Image, Geste et Langage) (SPI-SHS),

$\bullet$ et en 1998, l'action Interaction Homme-Machine (SPI).

Initialement restreinte à l'intégration des modalités de communications étudiées et développées dans les différents groupes, les objectifs de cette action se sont élargis pour mieux correspondre aux demandes des personnes y participant.

OBJECTIF

Les objectifs principaux de cette action transversale sont les suivants : faciliter les échanges entre les différents groupes du Département CHM, intégrer dans des projets fédérateurs les compétences des diverses disciplines présentes au sein de ce Département, et permettre la réutilisation des résultats de ces recherches dans différents types d'application.

MOYENS UTILISES

Les directions qui ont été privilégiées sont les suivantes  :

$\bullet$ diffusion régulière d'informations, par le biais de présentations informelles sur les recherches menées au sein des groupes, notamment dans les domaines suivants : traitement de la parole, grammaires LFG (Lexical Functional Grammars), graphes conceptuels, architecture multi-agents, agents interactifs InterViews, gestion de la multimodalité, communautés Internet, etc. Cette diffusion s'effectue également depuis l'automne 1998 grâce à l'organisation de Journées Thématiques ouvertes à l'ensemble des membres du Département CHM avec pour objectif de présenter les différents points de vue (informatique, intelligence artificielle, psychologie cognitive, interaction multimodale, sociologie $\ldots $ ) selon lesquels une même thématique peut être abordée au sein du Laboratoire.

$\bullet$ sensibilisation ou formation à des logiciels et outils disponibles sur le marché ou développés dans d'autres organismes : standards d'inter-opérabilité tels que les spécifications de la FIPA (Foundation for Intelligent Physical Agents), la norme CORBA, le langage KQML et la plate-forme multi-agent OAA ; outil d'aide au dépouillement et à l'analyse de données d'observation ; logiciel FrontPage de création de site de la Toile, etc.

$\bullet$ création d'une cellule d'expertise au sein du Département CHM et d'un réseau de compétences de laboratoires de recherche académiques et industriels en vue de répondre à des appels d'offres nationaux et internationaux tels que l'appel d'offres IST du 5ème Programme Cadre Européen.

L'Action de la Plate-Forme s'appuie sur les domaines de compétence propres à chacun des groupes du Département CHM concernant notamment les différents modes de communication et leur gestion dans des systèmes multimodaux complexes. L'apport du groupe Cognition Humaine (CH) et de l'Action Socio-économie de la Communication Interactive est déterminant dans la mesure où, dès la conception des systèmes d'interaction, il importe de prendre en compte en priorité les besoins et les attentes des usagers potentiels.

SITUATION / PERSPECTIVES

Le champ d'expérimentation fut tout d'abord focalisé sur l'intégration de plusieurs modalités avec comme finalité d'améliorer la communication homme-machine, en fonction du contexte applicatif, des usagers et des contraintes techniques de chacun des médias. Ce champ englobe dorénavant la thématique de la communication homme-homme médiatisée tournée vers des activités collectives de type associatif et non plus seulement professionnelles. Une autre thématique abordée qui pourrait à terme être élargie à un contexte collaboratif plus large concerne l'aide à la navigation dans l'espace, aussi bien avec des systèmes embarqués que portables. Enfin, l'une des préoccupations majeures reste liée aux problèmes d'évaluation des systèmes, et à la constitution de corpus multimodaux.

1. Thématique << Communication multimodale homme-homme médiatisée >>

Projets

$\bullet$ Dans le cadre du programme ESPRIT LTR I3 (Intelligent Information Interfaces), le LIMSI est depuis 1996 membre fondateur du réseau d'Excellence I3net dont la coordination est assurée par le Natural Interactive Systems Laboratory (NIS) de l'Université d'Odense (anciennement Centre for Cognitive Science (CCS) de Roskilde University).

$\bullet$ L'un des projets de ce réseau, Magic Lounge, auquel le LIMSI (groupes Langage et Cognition (L&C), Interaction et Multi-Modalités (IMM) et Département CHM) participe également, a pour objectif d'offrir à un ensemble d'utilisateurs non-professionnels un espace de communication collectif, accessible quel que soit le matériel utilisé (station de travail, PC, assistant personnel ou téléphone portable). La coordination de ce projet est assurée par le DFKI de Saarbrücken (Allemagne) ; les participants sont le NIS (Danemark), Siemens AG (Allemagne), l'Université de Compiègne et l'Association << Bank of Ideas of the Smaller Danish Isles >> (Danemark) qui constitue une communauté d'utilisateurs potentiels.

Les travaux se sont focalisés ces deux dernières années sur la définition des principales fonctionnalités d'une mémoire collective créée au cours d'interactions vocales et textuelles. Le démonstrateur développé permet ainsi d'obtenir différents points de vue (figure 1) dont les principaux sont les suivants :

Cette entité qui conserve la trace des actions et des décisions majeures intervenant pendant des réunions successives, pourrait à terme permettre à un participant absent ou retardé d'être informé de ce qui s'est passé au cours de la réunion manquée.

Une synergie se développe actuellement avec le projet EUREKA PVS (groupe L&C) notamment en ce qui concerne des aspects similaires d'aide au travail collectif et à la gestion de mémoire d'entreprise.

En 1999, le LIMSI était responsable dans le projet Magic Lounge de l'intégration du deuxième démonstrateur développé autour d'une architecture client/serveur, avec Java et des outils Corba, la mémoire des interventions des utilisateurs étant stockée dans une base de données orientée objet. La contribution du LIMSI a particulièrement porté sur la structuration de la mémoire par thèmes ou << conversations >> et sur le choix d'un nombre restreint d'actes de communication pertinents. Une analyse socio-économique menée en collaboration avec l'Université de Compiègne a conduit à identifier les critères indispensables à une communication à distance efficace et naturelle : des contacts pris avec un certain nombre d'associations ont permis de tester les contenus de mémoire attendus. Un groupe d'animateurs d'associations de Jeunesse a ensuite participé à une séance de découverte et à une séance de tests des fonctionnalités du prototype au LIMSI. Les résultats ont montré l'intérêt que peut présenter un tel système pour des réunions entre des membres éloignés de ces associations.

Journées Thématiques

Deux Journées thématiques ont été envisagées sur les activités collaboratives et sur la structuration d'une mémoire collective au cours de réunions successives.  :

- TCAO (Travail/Tâche Coopératif/ve Assisté(e) par Ordinateur), le 18 novembre 1998 : des approches tant sociologiques qu'informatiques ont été décrites concernant la circulation d'informations textuelles et la création d'une mémoire collective en entreprise, l'édition électronique interactive, l'aide au télédiagnostic médical ou la communication médiatisée pour le grand public.

- Cognition collective et Mémoires distribuées : construction des infrastructures des pratiques collectives distribuées : cette demi-journée prévue le 6 mars 2000 devrait permettre de préparer le Séminaire International organisé sur ce même thème par l'Action Socio-économie de la Communication Interactive.

Contacts Industriels

Avec l'objectif de disposer des dernières versions des nouveaux systèmes alliant des fonctions de téléphone à celles d'accès à Internet, tels que les << Webphones >> ou << ScreenPhones >>, des contacts ont été pris avec des opérateurs des télécommunications (Alcatel, Matra-Com, etc.).

2. Thématique << Aide à la navigation >> intégrant geste et langage

Projets

Ce champ d'application, initialisé il y a plusieurs années par les groupes L&C et CH, a été à l'origine de plusieurs contrats et collaborations.

$\bullet$ Un contrat avec PSA a permis de dresser << un état de l'art de l'usage de diverses modalités dans l'activité de conduite >>.

$\bullet$ Un contrat GIS Sciences de la Cognition associant les groupes IMM, L&C, CH ainsi que PSA, a visé à l'analyse et à la modélisation des dialogues de pilote et co-pilote enregistrés à bord d'un simulateur de PSA. Cette dernière recherche se poursuit sous la forme d'une thèse dans le groupe CH et d'une opération de recherche associant le groupe CH et une équipe d'ergonomes de l'INRIA. Cette opération est menée dans le cadre d'un contrat obtenu auprès de l'Action concertée incitative Cognitique sur la planification de parcours automobiles dans des environnements urbains.

$\bullet$ Dans un domaine proche concernant l'interaction vocale et gestuelle avec des cartes touristiques, une coopération est en cours avec le Stanford Research Institute (SRI) (Etats-Unis) pour l'analyse de dialogues homme-machine (enregistrés avec la technique du Magicien d'Oz), fondée sur le cadre conceptuel TYCOON du groupe IMM.

$\bullet$ Un contrat a été obtenu par le groupe CH en collaboration avec les groupes L&C et IMM en réponse à l'appel d'offres Action concertée incitative Ville et concerne une thématique proche visant à définir les spécifications d'un système d'aide verbale au déplacement pour des piétons aveugles dans des environnements urbains complexes.

Journées Thématiques

Des Demi-Journées Thématiques sur la Navigation dans l'Espace organisées les 25 mars et 31 mai 1999 ont permis de confronter les approches tant cognitives qu'informatiques utilisées pour modéliser et décrire des itinéraires ou des comportements d'utilisateurs interagissant avec des cartes touristiques.

Contacts Industriels

Outre PSA, des contacts ont été établis avec des constructeurs automobiles tels que DaimlerChrysler à Ulm et Renault en région parisienne, ou avec des industriels de l'aéronautique tels que Sextant.

3. Thématique << Evaluation de la multimodalité >>

Projets

Le LIMSI a contribué fin 1998 à l'élaboration d'un manuel de recommandations sur les interfaces multimodales dans le cadre du projet européen EAGLES II, et participe actuellement depuis début janvier 2000 à la continuation d'EAGLES, le projet ISLE, sur le thème << Meta-Descriptions and Annotation Schemas for Multimodal/Multimedia Language Resources >> (méta-descriptions et schémas d'annotation pour les ressources linguistiques multimodales et multimédia).

Journées Thématiques

Une présentation d'une plate-forme d'évaluation, outil d'aide au dépouillement et à l'analyse de données d'observation, a été faite le 1er décembre 1999, montrant l'intérêt d'un tel dispositif pour la constitution de corpus multimodaux.

$\bullet$ Membres : G. Adda (langage parlé), Y. Bellik (multimodalité), X. Briffault (langage naturel, agents intelligents), C. Collet(direction du regard ) M.-P. Daniel (psychologie cognitive), M. Denis (psychologie cognitive), B. Doval (langage parlé), F. Gaunet(psychologie cognitive), C. Henry (socio-économie), J. Mariani (parole, multimodalité), J.-C. Martin (multimodalité), F. Néel (multimodalité), A. Osorio (image), G. Sabah (langage naturel), J.P. Sansonnet(architecture logicielle), D. Teil (multimodalité), B. Turner (socio-économie) J. Vapillon (langage naturel, agents intelligents)