Une large part de nos efforts est dirigée vers l'évaluation et la valorisation de nos systèmes, et le développement de corpus de parole. En ce qui concerne l'évaluation, le LIMSI a participé aux cinq derniers tests organisés par DARPA aux Etats-Unis: RM (sep 92), WSJ (nov 92, nov 93), NAB (nov 94, nov 95), BN (nov 96, nov 97). Ces évaluations ont permis la comparaison de différents systèmes sur les mêmes données (anglais américain) en utilisant des corpus d'apprentissage et un protocole de test commun dans un contexte international.
En collaboration avec la SNCF nous évaluons actuellement en gare Saint-Lazare le kiosque MASK pour lequel nous avons déjà enregistrés plus de 700 locuteurs pour le développement des modèles acoustiques et linguistiques. Nous participons également aux actions concertées B1 et B2 de l' AUPELF-UREF portant sur l'évaluation des systèmes pour la dictée de textes en français et des systèmes de dialogue. Dans ce cadre nous avons participé à la première campagne d'évaluation de l' ARC B1 organisée en 1997. En ce qui concerne l' ARC B2, nous avons mis en place un système de dialogue oral en adaptant le système de dialogue développé pour le projet MASK à la tâche de renseignements touristiques qui a été retenue pour cette action. Ce système a permis de recueillir un corpus de dialogues homme-machine (``ParisCorp'') de 3400 phrases pour 44 locuteurs. Le corpus est actuellement étudié pour déterminer les méthodologies qui seront mises en place dans la deuxième phase de l'action, c'est-à-dire l'évaluation des systèmes de dialogue. Une étude est également menée sur l'annotation sémantique et dialogique du corpus.
Sur le plan Européen, le LIMSI participe au projet DISC qui fait partie des actions de recherche concertées à long terme du programme ESPRIT et qui vise à faire le point sur l'état de l'art en ce qui concerne le développement et l'évaluation des systèmes de dialogue en langage parlé. A l'heure actuelle, il n'existe pas de méthodologie de référence pour le développement de tels systèmes alors que le marché de l'ingénierie du language parlé connaît un regain d'activité. Le projet DISC va proposer un modèle de synthèse pour les techniques et algorithmes qui sont actuellement considérés comme donnant les meilleurs résultats pour le développement, l'intégration et l'évaluation des modules d'un système de dialogue en langage parlé.