Département "Communication Homme-Machine"

___________________________

J. Mariani

Plateforme de Communication Homme-Machine Multimodale

Groupe Traitement du Langage Parlé
Groupe Langage et Cognition
Groupe Interaction et Multi-Modalités
Groupe Cognition Humaine

Le département ``Communication Homme-Machine'' regroupe un ensemble de compétences permettant de traiter les différentes modalités de communication avec des éclairages différents. Ces activités portent sur le traitement du langage parlé, le traitement du langage écrit, la vision par ordinateur, la synthèse d'image, la reconnaissance de gestes. Ces différents aspects sont traités sous l'angle de l'analyse et de la synthèse. Les activités du département incluent aussi l'intégration de modalités et les relations entre le langage et la représentation du temps et de l'espace, ainsi que l'étude des activités cérébrales dans la verbalisation d'information spatiales, que nous menons avec des spécialistes de neuro-imagerie. Ces aspects sont abordés avec différents éclairages : ceux des sciences et technologies de l'information (informatique, traitement du signal, théorie de l'information), mais aussi ceux de la linguistique, de la psychologie cognitive, de l'ergonomie et de la socio-économie.

On trouvera donc ici, pour chacun des groupes qui composent le département, ``Traitement du Langage Parlé'' (TLP), ``Langage et Cognition'' (L&C), ``Interaction et Multi-Modalités'' (IMM) et ``Cognition Humaine'' (CH), une courte présentation générale de leurs objectifs, et une illustration de leurs activités les plus actuelles à l'aide de quelques pages de présentation.

Une action transversale de mise en place d'une plate-forme de communication homme-machine multimodale permet de rassembler les différentes compétences qui coexistent dans le département autour d'un petit ensemble sélectionné de projets communs sur des tâches génériques. Cette action a aussi pour objectif de mettre en place un environnement de développement logiciel soucieux des principes d'interopérabilité et de réutilisatibilité.

Depuis 1995, le département traite également des aspects socio-économiques relatifs aux recherches en matière de communication interactive, grâce à un spécialiste de ces questions. Cette réflexion intervient dans le déroulement même de la poursuite des recherches. Elle se situe au sein du laboratoire dans le cadre du projet de communication multimodale, mais également dans le cadre d'un groupe national ``Perspectives en Communication Interactive'' qui se réunit régulièrement pour débattre de questions relatives à des programmes de recherche et développement poursuivis chez différents industriels ou services publics. C'est ainsi que des réunions de travail ont été organisées à la SNCF (projets Astrée et Socrate), à Matra-Hachette (sur l'édition), au centre de formation IBM, dans les locaux de la municipalité d'Issy les Moulineaux (sur la ville), ainsi qu'à la Direction Générale de l'Aviation Civile. Les prochaines réunions porteront sur les domaines du médical et de l'art.

Les recherches que nous menons se placent de fait dans plusieurs domaines applicatifs. Celui des transports : ferroviaires, avec les projets Esprit-MASK (Multimodal Multimedia Automated Service Kiosk) et Télématique Railtel, puis Arise, qui nous associent à la SNCF et à d'autres partenaires européens, pour les renseignements sur les horaires de train et les réservations de place, dans le cadre de bornes interactives ou de liaisons téléphoniques ; automobiles, dans le cadre d'une coopération avec PSA au sein d'un projet du GIS Sciences de la Cognition. Dans le secteur de l'aide aux handicapés : en coopération avec l'INJA pour l'aide aux non-voyants, dans le cadre de la reconnaissance de la Langue des Signes Française (LSF), pour l'aide aux muets, et dans le cadre d'un contrat TIDE-Home, pour la commande d'environnement. Nous collaborons également avec les hôpitaux Saint-Antoine et Avicenne sur le sujet des implants cochléaires, et une thèse a été soutenue sur ce thème en 1997. Nous avons également deux contrats sur les applications téléphoniques, avec le CNET et France Telecom, pour la reconnaissance de la langue et du locuteur par téléphone. Nous souhaitons à présent travailler sur la communication homme-machine, ou homme-homme via la machine, à distance, en bénéficiant de la mise en place des réseaux à haut-débit.

Nos préoccupations très pionnières sur les problèmes liés au multimodal et au multimédia, que nous avions déjà essayer d'amplifier en termes d'efforts et de cercle de partenaires, trouvent à présent leur écho dans les programmes de la Commission Européenne, puisque nous sommes parmi les laboratoires fondateurs du réseau d'excellence I3Net, au sein du programme ESPRIT Long Term Research ``Intelligent Information Interfaces''. Nous avons par ailleurs répondu à l'appel d'offres lancé sur ce thème par la CE, et notre projet ``Magic Lounge'' a été retenu et débute à compter du 1er Juillet 1997. Nous avons également été invités à participer à la réunion préparatoire au lancement d'un nouveau programme de la NSF ``Human-Centered Systems : Information, Interactivity, Intelligence''. Nous avons enfin participé dernièrement à plusieurs réunions préparatoires au lancement du 5ème Programme-Cadre de l'Union Européenne. Nous sommes intervenus dans les discussions relatives à la mise en place de l'un des trois axes thématiques, intitulé ``User-Friendly Information Society'' . Nous intervenons pour la définition de la stratégie du secteur ``Technologies des langues'', du programme ``Multimedia Content'' qui le recouvre, et pour le secteur ``Visionary research'' qui est traité en parallèle. Nos activités s'inscrivent donc très bien dans les contenus de ces programmes qui devraient bénéficier de budgets très conséquents à partir de 1999.

Outre les coopérations inter-groupes conduites au sein de la plate-forme, des collaborations bilatérales ont été également soutenues par des Actions Incitatives internes au laboratoire . On notera, en 1996, une action associant TLP et IMM sur l'indexation automatique de documents vidéos et une, entre TLP et L&C, sur l'interprétation de descriptions spatiales multimodales, et, en 1997, un projet entre TLP et IMM sur la perception visuelle, un projet associant spécialistes du geste et de la vision (reconnaissance des gestes par caméra), une action entre CH et TLP sur la perception de la hauteur tonale, et une action entre L&Cet IMM visant à utiliser les graphes de Sowa, venus du Traitement du Langage Naturel, pour la représentation des icones. D'autres recherches sont menées au sein des groupes, comme la prise en compte du contexte dans la communication homme-machine, ou l'interprétation des intentions et croyances des interlocuteurs.

Nous regroupons donc un très fort potentiel pluridisciplinaire en matière de communication homme- machine, qui se situe à un excellent niveau international et joue un rôle de précurseur. Nous avons cependant des manques qui nécessitent une action très volontariste pour y remédier. En particulier, il serait nécessaire de recruter un cadre pour les activités en image (vision par ordinateur ou synthèse), ce que nous n'avons pas pu réaliser cette année sur un poste de professeur.

Si nous accordons une forte priorité aux activités relatives à la communication multimodale et au traitement des documents multimédias, nous plaçons également l'accent sur l'utilisation du paradigme d'évaluation pour accompagner les recherches, et sur l'utilisation de ressources linguistiques, corpus, lexiques, pour développer les systèmes et les évaluer.

Nous avons participé, cette année aussi, à la campagne de test du DARPA aux Etats-Unis, sur la tâche ``Broadcast News'' qui consiste à transcrire des émissions de radio et de télévision. Cette tâche contient un grand nombre des problèmes spécifiques au traitement de la langue parlée : parole spontanée (hésitations, tournures agrammaticales, phrases inachevées...), bruit de fond (musique, bruits d'ambiance, réverbération, élocutions simultanées,...), problèmes de prise de son (appels téléphoniques, microphone placé à distance...). De plus, il convient de traiter l'anglais américain, avec un lexique qui atteint à présent 65 000 mots. Malgré ces conditions difficiles, nous nous sommes placés au premier rang dans cette très forte compétition internationale, pour la troisième fois depuis que nous y participons.

Nous tentons de promouvoir cette approche d'évolution dans le cadre de programmes nationaux et internationaux . Nous sommes ainsi à l'initiative de l'action Grace, sur l'évaluation des analyseurs morpho-syntaxiques du français, qui a été soutenue par le CNRS dans le cadre du programme CCIIL (Cognition, Communication Intelligente et Ingénierie des Langues). Nous avons également proposé que cette approche serve de cadre pour les Actions de Recherche Coordonnées de l'agence francophone Aupelf-Uref. Sept actions sont ainsi menées depuis deux ans, sur différents aspects du traitement du langage écrit ou parlé (Extraction de documents textuels, Alignement de textes bilingues, Extraction automatique de termes, Compréhension de textes, Dictée vocale, Dialogue oral et Synthèse de parole). Un premier bilan, très positif, a été établi lors des Journées Scientifiques et Techniques que nous avons organisées en Avignon, en Avril 1997. Dans le cadre du Comité Consultatif interministériel pour le Traitement Informatique des Langues (CCTIL), nous avons proposé cette approche comme épine dorsale d'un programme coordonné français portant sur les aspects de recherche fondamentale, de recherche technologique et de développement applicatif dans le domaine de l'Ingénierie de la Langue, mais aucune décision n'a encore été prise pour répondre aux enjeux pourtant majeurs de ce secteur-clef en pleine expansion. Nous avons trouvé un écho plus positif auprès de la Commission Européenne, puisque nous avons proposé deux projets fondés sur cette approche qui ont été retenus : DISC, concernant les ``best practices'' en matière de systèmes de dialogue oral, et ELSE, qui, en prolongement direct de Grace, doit aider à préparer la composante ``Evaluation'' du 5ème Programme-Cadre.

En parallèle, nous participons à plusieurs actions relatives à la production et à la diffusion de ressources. Nous sommes ainsi à l'initiative de l'Association Européenne pour les Ressources Langagières (ELRA), soutenue par la Commission Européenne, et participons aux projets Speechdat, sur les corpus vocaux, et Babel, qui étend cette action aux pays de l'Europe Centrale et Orientale. Nous faisons partie des membres fondateurs du projet Silfide, soutenu par le CNRS et l'Aupelf-Uref. Dans cette même direction, nous avons soutenu l'idée d'un programme CNRS ``Ingénierie des Langues'' visant à produire et à diffuser des ressources linguistiques, et participons à son comité de pilotage. Deux actions que nous avions proposées ont été retenues : Multitag, qui, fondé sur les travaux de Grace, a pour but de mettre à disposition de la communauté scientifique un très important corpus de textes enrichis d'étiquettes morpho-syntaxiques, et une deuxième action qui a également pour objectif de mettre à disposition de la communauté scientifique un lexique et un corpus contenant les représentations graphémiques et leurs équivalents phonémiques tenant compte des variantes régionales et socio-linguistiques. En interne, nous avons également mis en place un atelier de génie linguistique qui a pour objectif d'offrir aux linguistes et aux spécialistes du traitement automatique de la langue des outils puissants et flexibles qui leur permettent d'étudier la langue, et de construire des systèmes capables d'en automatiser son traitement. Cette mise à disposition passe par la réalisation d'un environnement de développement logiciel orienté objet, fondé sur le langage SmallTalk, et sur les normes Corba.

Ces actions devraient permettre à la langue française de combler le retard qu'elle présente par rapport à l'anglais, langue pour laquelle il existe déjà de nombreuses ressources, pour l'écrit comme pour l'oral, à forte valeur ajoutée. Le réseau Francophone de l'Ingénierie de la Langue, FRANCIL, que nous coordonnons pour l'Aupelf-Uref depuis 1994, correspond à ce même objectif. Par ailleurs, l'intérêt que nous portons aux ressources linguistiques et à l'évaluation, ainsi que l'arrivée prochaine au laboratoire de spécialistes de ces questions, devrait nous conduire à mettre en place prochainement un groupe de travail transversal ``Corpus et évaluation'', qui viendra s'ajouter aux activités communes qui rassemblent déjà les groupes du département, voire du laboratoire, autour de la plate-forme de communication multimodale ou dans des projets bilatéraux, comme l'indexation et la recherche de documents multimédia ou la vélocimétrie par image de particules à l'aide d'une technique de flot optique.

Sommaire		Dpt Mécanique		Présentation