Département "Communication Homme-Machine"

___________________________

J. Mariani

Plateforme de Communication Homme-Machine Multimodale

Socio-économie de la communication interactive

Groupe Traitement du Langage Parlé
Groupe Langage et Cognition
Groupe Interaction et Multi-Modalités
Groupe Cognition Humaine

Une Communication au service de l'Homme

L'objectif général des activités du département est de correspondre à un besoin, présent ou futur, de la société dans les rapports utilisateur-machine ou dans la perspective d'une communication médiatisée, suivant le thème de la << Communication au service de l'Homme >>. Il convient de prévoir la manière dont ces rapports vont évoluer en fonction des nouvelles technologies disponibles, en particulier avec la spectaculaire augmentation de l'accès interactif aux informations multimédias en quantité croissante, alors que l'accès intelligent à ces informations fait apparaître de nombreux problèmes scientifiques encore ouverts, et que se posent des enjeux sociétaux et économiques majeurs (accès à l'information pour tous, plurilinguisme, internationalisation et accélération des prises de marché...).

Multimodalité et pluridisciplinarité

Le département << Communication Homme-Machine >> du Limsi regroupe un ensemble de compétences permettant de traiter les différentes modalités de communication, verbales et non-verbales, avec des éclairages différents. Ces activités portent sur le traitement du langage parlé, le traitement du langage écrit, la vision par ordinateur, la synthèse d'image, la reconnaissance de gestes. Ces différents aspects sont traités sous l'angle de la perception (analyse et compréhension de textes, reconnaissance de parole, analyse de scènes visuelles, reconnaissance de caractères, de gestes ergotiques ou sémantiques...) et de la production (génération de textes, synthèse vocale, synthèse d'images, de gestes ou de mouvements...). Les aspects cognitifs (représentation des connaissances, génération de plans, raisonnement, apprentissage...) sont partout sous-jacents. Les activités du département incluent aussi l'intégration de modalités, en entrée comme en sortie, et les relations entre le langage et la représentation du temps et de l'espace, ainsi que l'étude des activités cérébrales dans la verbalisation d'informations spatiales, que nous menons avec des spécialistes de neuro-imagerie. Ces aspects sont abordés avec différents éclairages : ceux des sciences et technologies de l'information (informatique, automatique, traitement du signal, théorie de l'information...), mais aussi ceux de la linguistique, de la psychologie cognitive, de l'ergonomie et, plus récemment, de la socio-économie.

On trouvera donc ici, pour chacun des groupes qui composent le département, << Traitement du Langage Parlé >>(TLP), << Langage et Cognition >> (L&C), << Interaction et Multi-Modalités >> (IMM) et << Cognition Humaine >> (CH), la présentation générale de sa problématique et de ses objectifs, et une illustration de ses activités de recherche à travers les pages de présentation, ainsi qu'une présentation des actions transversales << Plate-forme de communication homme-machine multimodale >>, << Socio-économie de la communication interactive >> et << Corpus et Evaluation >>.

Une plate-forme faite pour coopérer

Une action transversale de mise en place d'une plate-forme de communication homme-machine multimodale, initialisée en 1995 et placée sous la responsabilité de F. Néel, permet de rassembler les différentes compétences qui coexistent dans le département autour d'un petit ensemble sélectionné de projets communs sur des tâches génériques (aide à la navigation automobile, aide au handicap, aide à la conception). Cette action a aussi pour objectif de mettre en place un environnement de développement logiciel soucieux des principes d'interopérabilité et de réutilisatibilité. L'investissement consenti dans cette action porte à présent ses fruits, puisqu'elle nous a permis de lancer un projet européen (Esprit-BRA Magic Lounge), de signer une convention de coopération avec les sociétés PSA et Technibraille et d'initialiser une collaboration avec le SRI. Les activités récentes évoluent vers les systèmes multi-agents, le travail coopératif et l'interaction avec les cartes actives.

Socio-économie de la communication interactive

Depuis 1995 également, le département traite des aspects socio-économiques relatifs aux recherches en matière de communication interactive, grâce à la présence d'un sociologue spécialiste de ces questions, C. Henry. Cette réflexion intervient dans le déroulement même des recherches. Elle se poursuit au sein du laboratoire dans le cadre du projet de Plate-forme de communication multimodale, mais également dans le cadre d'un groupe de réflexion national SPI-SHS << Perspectives en Communication Interactive >>. Ce groupe de réflexion s'est réuni régulièrement pour débattre de questions relatives à des programmes de recherche et développement poursuivis dans différents domaines industriels ou de service (SNCF, Matra-Hachette, IBM, DGAC, municipalité d'Issy-les-Moulineaux, hôpital de Grenoble, ENSCI...), et les premières conclusions ont été présentées à la conférence Ergo-IA en 1998. Un spécialiste des questions de sociologie du traitement de l'information scientifique et technique, et du travail coopératif assisté par ordinateur (groupware), W. Turner, a par ailleurs rejoint le laboratoire en 1998. Une collaboration avec le laboratoire ITEM de l'ENS-Ulm sur la réalisation d'un site hypermédia consacré à Nietzsche a déjà été lancée dans le cadre du programme << Sciences de la Cognition >>.

Une forte demande du secteur aval

Les recherches que nous menons se placent de fait dans plusieurs domaines applicatifs. Celui des transports : ferroviaires, avec les projets Esprit-MASK (Multimodal Multimedia Automated Service Kiosk) et Télématique Railtel, puis Arise, qui nous associent à la SNCF et à d'autres partenaires européens, pour les renseignements sur les horaires de train et les réservations de place, dans le cadre de bornes interactives ou de liaisons téléphoniques ; automobiles, dans le cadre d'une coopération avec PSA au sein d'un projet du GIS Sciences de la Cognition. Dans le secteur de l'aide aux handicapés : en coopération avec l'INJA pour l'aide aux non-voyants, dans le cadre de la reconnaissance de la Langue des Signes Française (LSF) pour l'aide aux muets, et dans le cadre d'un contrat TIDE-Home, pour la commande d'environnement. Les travaux sur l'aide aux non-voyants se sont prolongés en 1998 vers l'accès à la toile électronique pour non-voyants, dans le cadre d'une bourse post-doc cofinancée par le CNRS et la société Technibraille. Nous collaborons également avec les hôpitaux Saint-Antoine et Avicenne sur le sujet des implants cochléaires. Une nouvelle collaboration est envisagée avec l'hôpital Tenon, pour l'analyse physiologique et acoustique des voix pathologiques. Nous avons conduit deux projets sur les applications téléphoniques, avec le CNET et France Telecom, pour la reconnaissance de la langue et du locuteur par téléphone. Nous avons obtenu cette année un contrat de la DGA pour la reconnaissance de la langue (avec 11 langues traitées). Nous souhaitons à présent travailler sur la communication homme-machine, ou homme-homme via la machine, à distance, en bénéficiant de la mise en place des réseaux à haut-débit. Nous avons obtenu un contrat qui nous fait collaborer avec Matra-Nortel et la SNCF sur la reconnaissance vocale distribuée dans le cadre du programme << Réseau National de Recherche en Télécommunications >> (RNRT) (projets Vocadis). Le groupe << Cognition Humaine >> a par ailleurs conclu un contrat avec Bouygues Télécom. D'autres études portent sur les déplacements dans le métro parisien avec la RATP, ou sur la planification de trajets automobiles, dans le cadre d'une collaboration avec l'INRIA. Nos travaux en Réalité Virtuelle et Augmentée trouvent un domaine d'application particulièrement intéressant dans la navigation humaine interactive pour les interventions en milieu hostile, sujet que nous développons en coopération avec la Direction des Etudes et Recherches d'EDF dans le cadre d'une bourse CIFRE. Nos travaux en matière d'utilisation d'agents pour le génie linguistique ont été étendus à la gestion de projet au sein du projet Eureka PVS.

Image et interaction 3D

Nos travaux dans le domaine de l'image doivent nous conduire à collaborer avec l'Université d'Illinois à Urbana-Champaign dans le contexte du programme de collaboration du CNRS avec cette université. Par ailleurs, une activité s'est récemment développée sur l'imagerie médicale, et A. Osorio organise en mars 1999 une journée sur ce thème à Nancy, dans le cadre du Festival du Film de Chercheurs. Nous avons enfin pu réaliser l'investissement prévu de longue date sur l'acquisition d'une machine relativement puissante (système SGI Onyx) pour mettre en place un système d'immersion en réalité virtuelle. Une toute première application de ce nouvel équipement est la visualisation et l'interaction 3D avec des écoulements aérodynamiques, dans le cadre d'une coopération entre le département << Communication Homme-Machine >> et le département << Mécanique-Energétique >>.

Multimodal et multimédia

Nos préoccupations très pionnières sur les problèmes liés au multimodal et au multimédia, que nous avions déjà essayé d'amplifier en termes d'efforts et de cercle de partenaires, trouvent à présent leur écho dans le programme national I3 (Information-Interaction-Intelligence), où nous participons au Comité de Direction, et dans les programmes de la Commission Européenne, puisque nous avons été fondateurs du réseau d'excellence I3Net, au sein du programme ESPRIT Long Term Research << Intelligent Information Interfaces >> (I3). Nous participons au projet << Magic Lounge >>, qui porte sur le thème en pleine émergence de la communication médiatisée et dans lequel nous sommes responsables de la réalisation du démonstrateur. Nous avons obtenu par ailleurs un projet Esprit LTR sur la communication multimodale (Chameleon), et collaborons avec l'IRSIT de Tunis sur la communication multimodale appliquée aux problèmes de coupe. Nous avons enfin participé à plusieurs réunions préparatoires au lancement du 5ème Programme-Cadre de l'Union Européenne, dans les discussions relatives à la mise en place d'un des axes thématiques, intitulé << Information Society Technologies >> . Nous sommes intervenus pour la définition de la stratégie du secteur << Technologies des Langues >> (Human Language Technologies), du programme << Multimedia Content and Tools >> qui le recouvre, et pour le secteur << Future Emerging Technologies >> qui est traité en parallèle. Ces programmes bénéficieront de budgets très conséquents pour les quatre années à venir (de l'ordre de 125 Meuro (800 MF environ) pour le secteur << Technologies des Langues >>, par exemple).

Outre les coopérations inter-groupes conduites au sein de la plate-forme, des collaborations bilatérales ont été également soutenues par des Actions Incitatives internes au laboratoire. On notera, en 1997, un projet entre TLP et IMM sur la perception visuelle, un projet associant spécialistes du geste et de la vision (reconnaissance des gestes par caméra), une action entre CH et TLP sur la perception de la hauteur tonale, qui a conduit à une publication commune dans le JASA, et une action visant à utiliser les graphes de Sowa, venus du Traitement du Langage Naturel, pour la représentation des icônes. En 1998, un projet a été retenu qui allie les groupes TLP et L&C sur l'extraction d'informations à partir d'un corpus vocal. Ce projet doit nous permettre de participer aux évaluations du Darpa sur la recherche d'informations vocales (Spoken Data Retrieval (SDR)) ou la détection et le suivi de thèmes de discussion (Topic Detection and Tracking (TDT)). Nos travaux en transcription et en indexation de documents multimédias nous ont permis d'obtenir un contrat de la Commission Européenne (Telematics Olive) et un contrat de la DGA. Les travaux sur l'animation de créatures articulées au sein du groupe IMM pourraient bénéficier du savoir-faire en matière de communication langagière présent dans les autres groupes du département, dans la perspective de la production d'avatars ou d'agents intelligents.

Nous regroupons donc un très fort potentiel pluridisciplinaire en matière de communication homme-machine, qui se situe à un excellent niveau international, en jouant un rôle de précurseur. Nous avons cependant des manques qui nécessitent une action très volontariste pour y remédier. En particulier, il serait nécessaire de recruter un cadre pour les activités en image (vision par ordinateur ou synthèse), ce que nous n'avons toujours pas pu réaliser sur un poste de professeur ou de directeur de recherche.

L'évaluation pour mesurer la qualité des recherches

Si nous accordons une forte priorité aux activités relatives à la communication multimodale et au traitement des documents multimédias, nous plaçons également l'accent sur l'utilisation du paradigme d'évaluation pour accompagner les recherches, et sur l'utilisation de ressources linguistiques, corpus, lexiques, pour développer les systèmes et les évaluer.

Nous avons participé, en 1996, 1997 et 1998, à la campagne de test du DARPA aux Etats-Unis, sur la tâche << Broadcast News >> qui consiste à transcrire des émissions de radio et de télévision. Cette tâche contient un grand nombre des problèmes difficiles à traiter et spécifiques au traitement de la langue parlée : parole spontanée (hésitations, tournures agrammaticales, phrases inachevées...), bruit de fond (musique, bruits d'ambiance, réverbération, effet de cocktail party, effet Lombard...), problèmes de prise de son (appels téléphoniques, microphone placé à distance...). De plus, il convient de traiter l'anglais américain, avec un lexique qui dépasse 65 000 mots. Malgré ces conditions difficiles, nous nous sommes placés au premier rang en 1996, au second en 1997 et à nouveau au premier rang pour l'une des deux conditions de test en 1998, dans cette très forte compétition internationale. Nous avons par ailleurs obtenu les meilleurs résultats pour la tâche << Named Entities >>, où il convient d'extraire dans le message transcrit les informations relatives aux noms propres (noms de personne, de lieux, dates, etc). Nous avons également participé aux campagnes de test organisées dans le cadre des Actions de Recherche Coordonnées (ARC) de l'AUF (ex Aupelf-Uref), et avons obtenu les meilleurs résultats dans toutes les conditions de test pour la reconnaissance vocale de grands vocabulaires comme pour la conversion graphème-phonème en synthèse vocale, pour la langue française. Enfin, les campagnes d'évaluation de notre système développé dans le projet Mask, visant à la réalisation d'une borne d'informations multimodale et multimedia pour la réservation et l'achat des billets de train, et sa comparaison avec le système tactile actuel, ont démontré son acceptabilité par les utilisateurs de la SNCF.

Nous tentons de promouvoir l'utilisation du paradigme d'évaluation dans le cadre de programmes nationaux et internationaux. Nous avons été ainsi à l'initiative de l'action Grace, sur l'évaluation des analyseurs morpho-syntaxiques du français, qui a été soutenue par le CNRS dans le cadre du programme CCIIL (Cognition, Communication Intelligente et Ingénierie des Langues), et dont la campagne de test s'est terminée en mars 1998. Nous avons également proposé que cette approche serve de cadre pour les Actions de Recherche Coordonnées de l'agence francophone AUF. Sept actions ont ainsi été menées sur différents aspects du traitement du langage écrit ou parlé (Extraction de documents textuels, alignement de textes bilingues, extraction automatique de termes, compréhension de textes, dictée vocale, dialogue oral et synthèse de parole). Un premier bilan, très positif, a été établi lors des Journées Scientifiques et Techniques que nous avons organisées en Avignon, en Avril 1997. La deuxième campagne débute à présent. Dans le cadre du Comité Consultatif Interministériel pour le Traitement Informatique des Langues (CCTIL), nous avons proposé cette approche comme axe principal d'un programme coordonné français portant sur les aspects de recherche fondamentale, de recherche technologique et de développement applicatif dans le domaine de l'Ingénierie de la Langue, mais les réponses des pouvoirs publics sont très en retrait par rapport aux enjeux pourtant majeurs de ce secteur. La plus marquante est celle de la DGLF qui a lancé un programme sur la production d'un << Corpus du Français Contemporain >>, doté d'un comité de pilotage auquel nous participons. Nous avons trouvé un écho encore plus positif auprès de la Commission Européenne, puisque nous avons proposé deux projets fondés sur cette approche qui ont été retenus : DISC, concernant les << Bonnes Pratiques >> en matière de systèmes de dialogue oral, et ELSE, que nous coordonnons scientifiquement et qui a pour but de proposer une infrastructure d'évaluation en matière d'ingénierie des langues pour le 5ème Programme-Cadre.

Les ressources pour développer et évaluer les systèmes

En parallèle, nous participons à plusieurs actions relatives à la production et à la diffusion de ressources. Nous sommes ainsi à l'initiative de l'Association Européenne pour les Ressources Langagières (ELRA), soutenue par la Commission Européenne, et avons participé aux projets Speechdat, sur les corpus vocaux téléphoniques, et Babel, qui étend cette action aux pays de l'Europe Centrale et Orientale. Les corpus BREF-80 et BREF-Polyglot, réalisés au Limsi, apparaissent parmi les ressources les plus demandées à l'ELRA, et nous distribuons à présent le corpus BREF complet par le même canal. Le lexique que nous avons réalisé pour notre système de reconnaissance en langue anglaise évalué dans le programme du DARPA fait également l'objet d'un grand intérêt auprès des laboratoires de recherche publics ou privés. Nous faisons partie des membres fondateurs du projet Silfide, soutenu par le CNRS et l'Aupelf-Uref. Dans cette même direction, nous avons soutenu l'idée d'un programme CNRS << Ingénierie des Langues >> visant à produire et à diffuser des ressources linguistiques, et participons à son comité de pilotage. Deux actions que nous avions proposées y ont été retenues : Multitag, qui, fondé sur les travaux de Grace, a pour but de mettre à disposition de la communauté scientifique un très important corpus de textes (1 Million de mots) enrichis d'étiquettes morpho-syntaxiques, et une deuxième action qui a également pour objectif de mettre à disposition de la communauté scientifique un lexique et un corpus contenant les représentations graphémiques et leurs équivalents phonémiques tenant compte des variantes régionales et socio-linguistiques. Ces actions devraient permettre à la langue franç aise de combler en partie le retard qu'elle présente par rapport à l'anglais, langue pour laquelle il existe déjà de nombreuses ressources, pour l'écrit comme pour l'oral, à forte valeur ajoutée. Le réseau Francophone de l'Ingénierie de la Langue, FRANCIL, que nous coordonnons pour l'AUF depuis 1994, correspond à ce même objectif. Outre l'action ``Corpus du Français Contemporain`` de la DGLF, une action ``Corpus Clef du Français Actuel``, proche du British National Corpus, a été lancée par le Ministère fran çais de la recherche, et nous sommes également dans son Comité de Pilotage.

Chercher les synergies

L'intérêt que nous portons aux ressources linguistiques et à l'évaluation, ainsi que l'arrivée au laboratoire de spécialistes de ces questions (P. Paroubek, C. Jacquemin, B. Habert) nous a conduits à mettre en place un groupe de travail transversal << Corpus et évaluation >> (Corval), placé sous la responsabilité de P. Paroubek, qui vient s'ajouter aux activités communes qui cimentent l'unité du département, voire celle du laboratoire, autour de la plate-forme de communication multimodale ou dans des projets bilatéraux, comme l'indexation et la recherche de documents multimédia, la vélocimétrie par image de particules à l'aide d'une technique de flot optique ou l'étude des écoulements aérodynamiques à l'aide d'un système de réalité virtuelle. Nous notons en effet que c'est grâce à la rencontre de disciplines différentes, pour lesquelles nous occupons une place d'excellence, que nous pouvons accomplir un saut scientifique ou technologique dans la démarche visant à apporter une solution à un problème de recherche.

Sommaire		Dpt Mécanique		Présentation

visiteurs.