Systèmes de dialogue

Dans les systèmes de dialogue oral, le but n'est plus seulement de transcrire mais plutôt de comprendre les messages de l'utilisateur et de lui donner les informations recherchées tout en assurant une interaction aussi conviviale qu'efficace. La modélisation de la parole spontanée devient ici particulièrement importante et des problèmes nouveaux apparaissent concernant le développement du module de compréhension et l'intégration de la reconnaissance avec d'autres modalités telles que le toucher, le geste, la synthèse de la parole, etc. La sortie du système de reconnaissance est transmise au module de compréhension qui analyse la requête pour en extraire le sens. Le principal travail lors du développement du module de compréhension est l'écriture des règles d'interprétation et la définition des concepts significatifs pour la tâche et les termes associés. Le rôle du module de dialogue est de guider l'utilisateur afin qu'il fournisse l'information nécessaire à la construction des requêtes pour la base de données. Les réponses en langage naturel sont générées à partir du schéma sémantique et de l'information extraite de la base de données.

Notre objectif est un taux élevé de succès de dialogue avec une structure de dialogue très ouverte, laissant l'utilisateur libre de s'exprimer comme il le souhaite. La stratégie de dialogue dépend des caractéristiques et fonctionnalités voulues pour le système et doit prendre en compte les contraintes spécifiques au dialogue oral que sont le traitement de la parole spontanée et la prise en compte d'erreurs de reconnaissance.

Nous avons développé et évalué des systèmes vocaux de renseignements ferroviaires dans le cadre des projets MASK (Esprit) et ARISE (LE), ainsi que des systèmes domotiques (projet Tide HOME-AOM) et de renseignements touristiques (ARC B2 AUPELF-UREF). La société Vecsys (notre partenaire dans le projet ARISE) développe actuellement un prototype industriel d'un serveur téléphonique pour la SNCF à partir des résultats du projet ARISE.

L'évaluation des systèmes de dialogue prend actuellement deux formes : une évaluation automatique mais partielle de certains modules (taux de reconnaissance, taux de compréhension littérale,...), et une évaluation globale du système par des utilisateurs (de nature subjective, et très coûteuse). Nous travaillons à un paradigme d'évaluation du dialogue : à partir de corpus de dialogues réels ( ARISE, PARIS-SITI), une étude est menée sur la corrélation entre critères de haut niveau (essentiellement satisfaction de l'utilisateur, réussite du scénario) et les critères de bas niveau, afin d'en déduire une mesure de performance permettant de prédire à partir des critères objectifs seuls, les performances globales (la satisfaction de l'utilisateur) d'un système de dialogue.

Sur le plan Européen, le LIMSI participe au projet DISC2 qui est une action de recherche concertées à long terme du programme ESPRIT et qui vise à faire le point sur l'état de l'art en matière de développement et d'évaluation des systèmes de dialogue en langage parlé. Nous participons par ailleurs à l'ARC B2 AUPELF-UREF sur l'évaluation de la compréhension et du dialogue Homme-Machine.

$\parbox{\textwidth}{ \vspace*{5mm} {\textbf{ENSEIGNEMENT}} \newline }$

• DEA d'Electronique ``Systèmes Electroniques de Traitement de l'Information'' du département de Physique de Paris XI (co-responsable J.-S. Liénard), module ``Traitement du Signal de Parole'' (C. d'Alessandro, M. Adda-Decker, H. Schwenk), module ``Traitement du Signal Musical'' (C. d'Alessandro, G. Charbonneau, T. Rochebois)
• DEA ``Sciences cognitives'' du département d'Informatique de Paris XI (J.S. Liénard, H. Schwenk, L. Devillers)
• DEA I³, Dialogue oral homme-machine, Paris XI (L. Devillers)
• DEA ``Automatique et traitement du signal'' de Paris XI (C. d'Alessandro, H. Schwenk)
• DEA ``Architectures parallèles'' de Paris XI (C. d'Alessandro, M. Adda-Decker)
• DESS ``Systèmes et Communication Homme-Machine'' du département d'Informatique de Paris XI, cours sur le traitement de la parole (L. Devillers, H. Schwenk), cours sur le traitement numérique de l'information (H. Schwenk, B. Doval).
• IMAC Paris II (école d'ingénieurs), cours sur le traitement de la parole (B. Doval)
• IUP ``Génie Mathématique et Informatique'' de Paris-Dauphine (3ème année), cours sur la parole (C. d'Alessandro)
• EDR ``Génie linguistique'', option traitement de la parole (L. Devillers, T. Vu Ngoc)

$\parbox{\textwidth}{ \vspace*{5mm} {\textbf{CONTRATS}} \newline }$

• ESPRIT MASK ``Multimodal Multimedia Automated Service Kiosk'' (1994-1998) - Développement d'un système de compréhension de la parole pour un kiosque d'information;
• CEC LE-3 ARISE ``Automatic Railways Information Systems for Europe'' (1996-1998) - Développement et évaluation d'un prototype de service téléphonique pour demandes d'informations ferroviaires;
• VECSYS SA (1997-1998) - Transcription automatique de rapports médicaux;
• Convention DGA (1997-1998) - Transcription d'émissions radio et identification de la langue;
• Marché DGA (1999-2001) - Indexation d'émissions multilingues
• CEC LE-4 ELSE (1997-1999) ``Evaluation in Language and Speech Engineering'' - Proposition d'infrastructure européenne générique pour l'évaluation des systèmes de traitement du langage et de la parole;
• ESPRIT LTR DISC (1997-1998) et DISC2 (1999) - Méthodologies pour le développement de systèmes de dialogue;
• CEC LE-4 OLIVE (1998-2000) - Indexation multilingue de documents vidéo

• Contrat RNRT VOCADIS (1998-2001) - Interfaces vocales distribuées

• CEC Copernicus BABEL (1995-1998) - Création de corpus pour les langues des pays d'Europe de l'Est;

• CEC TIDE HOME-AOM ``Home application Optimum Multimedia / multimodal system for Environment control'' (1997-2000)

• AUPELF-UREF : 4 projets dans le cadre de l' ARC ``Linguistique, Informatique et Corpus oraux'' (1999) Evaluation systèmes de synthèse, Evaluation systèmes de reconnaissance, Evaluation modèles de langage, Evaluation systèmes de dialogue.
• Contrat CNRS Industrie de la langue sur la phonétisation (1997-1999)
• Contrat CNRS Industrie de la langue MULTITAG (1997-1999) - Valorisation des corpus produits dans GRACE.
• Contrat AUF, Action de Recherche Partagée CADBFR (1998-2000) - Construction automatique d'un lexique bilingue franco-roumain.

$\parbox{\textwidth}{ \vspace*{5mm} {\textbf{ANIMATIONS SCIENTIFIQUES ET RESPONSABILITÉS INSTITUTIONNELLES}} \newline }$

• G. Adda est membre du comité d'organisation et co-animateur du comité de reflexion de l'action GRACE ( INALF).
• M. Adda-Decker est membre élu au bureau du Groupe Francophone de la Communication Parlée (GFCP) de la Société Française d'Acoustique.
• M. Adda-Decker a été membre du comité scientifique des ``Journées d'Étude sur la Parole'', organisé par le GFCP de la SFA, Martigny, juin 1998.
• M. Adda-Decker est membre élu et membre du bureau de la commission de spécialistes 27ème section de Paris XI .
• C. d'Alessandro est membre élu et a été président de 1997 à 1999 du Groupe Spécialisé d'Acoustique Musicale (GSAM) de la Société Française d'Acoustique, animateur scientifique du groupe de réflexion ``Synthèse de la parole'' pour l'Action de Recherche Concertée ``Industries de la Langue'', Aupelf-Uref.
• C. d'Alessandro est membre du comité éditorial de la revue ``Traitement Automatique des Langues'' (T.A.L.).
• C. d'Alessandro est membre de la commission de spécialistes 61e section (Orsay).
• C. d'Alessandro a été membre du comité d'organisation du colloque SFA ` ``Acoustique et instruments anciens'' Cité de la Musique, Paris, 17-19 novembre 1998; membre du comité d'organisation du Workshop international ``Speech Synthesis'' ESCA , Jenolan Caves, Australie, 26-29 novembre 1998; membre du comité d'organisation de l'exposition ``L'univers des sons'' Palais de la Découverte, 16-21 décembre 1998, dans le cadre des 50 ans de la SFA.
• L. Devillers est membre suppléant de la commission de spécialistes 27ème section de Paris XI .
• L. Devillers est co-responsable des DESS d'''Ingénierie Informatique'' et ``Systèmes et Communications Homme-Machine''.
• J.L. Gauvain est membre élu du ``IEEE Speech Technical Committee'' (1998-2000).
• J.L. Gauvain est expert auprès de la CEC pour les projets dans le cadre de FP5.
• J.L. Gauvain a été membre du comité scientifique du workshop CBMI'99.
• M. Jardino est membre élu du conseil de département recherche de Paris XI et vice-présidente B de ce conseil, membre de droit du conseil de département informatique, et membre nommé (extérieur) de la commission de spécialistes 27ème section.
• M. Jardino est membre nommé (extérieur) de la commission de spécialistes (sections 27-61-63) de l'université de Cergy-Pontoise.
• L. Lamel est membre élu du ``IEEE Speech Technical Committee'' (1994-1998) et membre du permanent council of ICSLP (1998-).
• L. Lamel est expert auprès de la CEC pour les projets dans le cadre de FP4.
• L. Lamel a été membre du comité scientifique du workshop ESCA ``Modeling pronunciation variation for automatic speech recognition'' (1998) et de la conférence LREC2000.
• L. Lamel est membre du comité éditorial de Speech Communication.
• J.S. Liénard est membre suppléant de la commission de spécialistes de Paris XI 27e section (informatique), et membre de la commission de spécialistes de l'Université de Cergy-Pontoise.
• J.S. Liénard est membre du groupe de travail AFCET-AFIA sur l'apprentissage, des groupes de travail 10.2 et 6.2 du PRC ISIS, président de l'ISCC (Institut des Sciences Cognitives et de la Communication d'Orsay)et du Réseau Paris-Sud du GIS Sciences Cognitives. Il est membre de plusieurs groupes de travail de l'Institut Bull pour la Reflexion et la Synthèse, notamment le groupe ``Cerveaux et Machines'', membre du comité d'action de la plate-forme Multimodale du LIMSI.
• J.S. Liénard est membre du Conseil d'Administration de l'Institut Bull pour la Reflexion et la Synthèse, membre de comités scientifiques de divers laboratoires ( IRCAM, LAM) et administrations (Direction de la Musique et de la Danse et Conseil Scientifique du Ministère de la Culture).
• J.S. Liénard est membre du Comité éditorial des revues ``Computer Speech and Language'' et ``Le Travail Humain''.
• J. Mariani Au CNRS, membre du Conseil Scientifique, du Conseil de Département SPI, de la Commission Paritaire ``Chargés de recherche'', du Comité Editorial du Journal du CNRS et du comité de pilotage Xlab; membre du Comité de Pilotage des programmes ``Ingénierie des Langues'' et Silfide (CNRS-AUF), membre du bureau du GDR I3 (jusqu'en 1999) et du groupe de travail ``Perspectives de la communication interactive'' (jusqu'en 1998). membre du Comité d'organisation des manifestations SPI'2000; membre du Comité d'Evaluation de l'INRIA, membre du Groupe de Réflexion sur le Traitement Informatique du Langage auprès du Conseil Supérieur de la Langue Française et membre du Comité de Pilotage de l'action ``Corpus du Français Contemporain'' de la Délégation Générale à la Langue Française; coordonnateur du réseau Francophone d'Ingénierie de la Langue de l'AUF (depuis 1994), rapporteur du Comité Thématique 5 (``Interaction Homme-Machine, Ergonomie et Acceptabilité des services'') du Réseau National de Recherches en Télécommunications (RNRT) et membre du Comité d'Orientation du programme PRIAMM (Industries de l'Audio-Visuel et du MultiMédia); membre des groupes de travail du MENRT sur la coopération Franco-Finlandaise sur les NTIC et sur la traduction automatique; membre du Conseil d'Administration de l'INPL (Nancy) et membre du Conseil de Surveillance de la NFI FIIFO (Orsay); participation à la réalisation du rapport ``Recherche et innovations : la France dans la compétition mondiale'' pour le Commissariat au Plan, et aux groupes de travail ``Modélisation Mathématique et Informatique'' et ``Technologies du Langage'' du projet ``U3M-Plateau de Saclay''"; membre de la Commission de Spécialistes en ``Informatique'' de Paris XI, en ``Informatique et Mathématiques'' de Corté et en ``Informatique et Linguistique'' de l'ENS Fontenay, membre des bureaux et des Conseils de département ``Informatique'' et ``Recherche en informatique'' de Paris XI; membre des Comités Scientifiques des laboratoires ICP, TIMA, IDRIS, CAMS, ELESA, LIA, IRIT, SDEM, URA 820 et UTC-Costech.

• J. Mariani est vice-président de l'European Language Resources Association (ELRA), membre de l'Advisory Committee de l'International Speech Communication Association (ISCA), membre du bureau de l'European Language and Speech Network (Elsnet), membre du Bureau du Comité de coordination sur les ressources vocales et l'évaluation (Cocosda), membre de l'Advisory Committee du programme américain ``Translingual Information Detection, Extraction and Summarization'' (TIDES); expert pour la définition du 5ème PCRD (groupes de travail ``Multimedia Content and Tools'', ``Human Language Technologies'' et ``Future and Emerging Technologies''); évaluateur du département ``Human-Machine Communication'' de Siemens (Munich), du Bavarian Archives of Speech (BAS, Munich), du programme national hollandais NWO sur le dialogue, du CTT (Stockholm) et referee pour des universités ou des centres de recherche (Johns Hopkins University, MIT Media Lab, Carnegie Mellon University, Lucent Technology, EPFL, Université de Cambridge, Université de Louvain). Il a été président du Comité Scientifique de la Conférence RIAO'2000 ``Content-Based Multimedia Information Access'', membre du Comité de Programme de la Conférence LREC'98 et LREC'2000 ``Language Resource and Evaluation'', de l'International Advisory Committee de la Conférence ICSP'99 (Seoul) et des Comités Scientifiques des conférences CMC'98, Coling/ACL'98, Eurospeech'99 et ICUST'99. Il a été membre du Comité éditorial du journal ``Speech Communication'' et du Permanent Committee de la conférence ICSLP jusqu'en 1998. Il est membre des comités éditoriaux des journaux ``European Student Journal on Language and Speech'', ``International Journal of Speech Technology'', ``Langues'' et de la série d'ouvrages ``Text, Language and Speech Processing'' (Kluwer Academic Press).

• H. Maynard est membre du conseil de perfectionnement de la NFI-FIIFO, Paris XI Orsay (1997-1999).
• P. Paroubek est animateur du comité d'organisation de l'action GRACE ( INALF/ LIMSI).
• P. Paroubek est coordonnateur adjoint du réseau FRANCIL.
• H. Schwenk est co-responsable des DESS ``Ingénierie Informatique'' et ``Systèmes et Communications Homme-Machine''.