ÉVALUATION D'UN SERVICE TÉLÉPHONIQUE

D'INFORMATIONS FERROVIAIRES

________________________

L. DEVILLERS, S. ROSSET, S. BENNACEF, J.J. GANGOLF,

J.L. GAUVAIN, S. FOUKIA, L. LAMEL

Objet

L'objectif de ce travail est d'évaluer la faisabilité d'un serveur téléphonique d'informations ferroviaires. Une des particularités des services d'informations téléphoniques est que toutes les interactions entre l'utilisateur et le système sont vocales. La gestion du dialogue oral et la génération des réponses constituent donc deux aspects importants de la conception du système et de sa convivialité.

Contenu

Ce travail est mené dans le cadre du projet LE-MLAP RAILTEL (Railway Telephone Information Service) dont le but est d'évaluer l'utilisation des techniques de traitement de la parole pour le développement de services téléphoniques interactifs. Le système de compréhension du langage parlé RAILTEL (Figure 1) reprend les composants du système développé dans le cadre du projet ESPRIT MASK [1,2]. Il fonctionne sur une station Unix avec une interface téléphonique de haute qualité pouvant gérer 4 lignes téléphoniques. Le système de reconnaissance de parole continue comporte un vocabulaire de 1500 mots dont 600 noms de gares. Ce système a été adapté pour traiter de la parole de qualité téléphonique. La séquence de mots identifiés par le système de reconnaissance est envoyée au module de compréhension qui extrait le sens de la phrase et génère ou complète le schéma sémantique. Le module de gestion du dialogue incite l'utilisateur à donner les informations nécessaires pour construire une requête permettant d'interroger la base de données. Les informations extraites de la base de données et du schéma sémantique permettent de générer une réponse en langage naturel qui est ensuite synthétisée. Nous avons utilisé un système de dialogue à initiative partagée où l'utilisateur peut intervenir à n'importe quel moment. Ainsi, un utilisateur expérimenté peut formuler en une seule requête la totalité des informations nécessaires pour accéder à la base de données, tandis qu'un utilisateur moins coutumier d'un tel système a la possibilité de formuler sa demande en plusieurs requêtes et de se laisser guider par le système.

Situation

Un prototype a été développé durant l'été 1995 dont une démonstration a été faite à la conférence Eurospeech'95. Ce système a permis de recueillir un corpus téléphonique (de plus de 4000 requêtes) à partir duquel de nouveaux modèles acoustiques ont été construits pour le système de reconnaissance. Ce prototype a été evalué auprès de 100 utilisateurs naïfs (un test identique a été mené par les partenaires Italiens et Anglais du projet avec leurs propres systèmes).

Les sujets devaient faire une demande d'informations à partir de l'un des deux scénarios montrés à la Figure 2. 50 scénarios de chaque type ont été évalués. Dans les scénarios de type A, l'utilisateur précise la date et l'heure exactes de son voyage. Ce type de scénario est le plus simple et le plus courant. Les scénarios de type B laisse une plus grande part d'interprétation à l'utilisateur. Pour ces scénarios, les trajets imposaient un ou plusieurs changements, difficultés supplémentaires pour éprouver les modules de génération et de synthèse. La durée moyenne des dialogues de type B est plus longue que ceux de types A, 245 secs contre 193 secs. 76% des appels de type A ont aboutis contre 68 % pour le type B. Pour les 72 appels réussis, le nombre moyen d'interventions du sujet est de 4. 35% des appels contiennent des erreurs, 80% sont dues à la reconnaissance et à la compréhension, 14% à la gestion du dialogue, et 6% à l'accès à la base de données. La Figure 3 montre les résultats de l' évaluation qualitative menée sur les 100 appels évalués.

Références

(1) L. Lamel, S. Bennacef, H. Bonneau-Maynard, S. Rosset, J.L. Gauvain : "Recent Developments in Spoken Language Sytems for Information Retrieval", Proc. ESCA Workshop on Spoken Dialog Systems, Vigso, Denmark, Spring 1995.

(2) J.L. Gauvain, S. Bennacef, L. Devillers, L. Lamel, S. Rosset : "The Spoken Language Component of the Mask Kiosk", Proc. Human Comfort & Security Workshop, Brussels, Oct. 26, 1995.

Gpe Traitement du Langage Parlé

DptCHM

+ Sommaire

Présentation