Figure

Objet

L'objectif de cette étude est d'élaborer un système de reconnaissance et de compréhension de phrases de la Langue des Signes Française, la LSF.

Description

La LSF est la langue pratiquée au sein de la communauté des sourds en France. Elle est basée sur l'utilisation des gestes des mains, des expressions du visage, du regard et des mouvements du buste.

Une étude détaillée de la structure et du fonctionnement de la LSF a été menée en vue de sa modélisation informatique (cf. rapport d'activité 1995). Parmi les différentes propriétés dégagées, les deux suivantes sont particulièrement importantes. Tout d'abord, un signe est multidimensionnel car il possède la propriété de transmettre plusieurs types d'informations simultanément par l'intermédiaire de paramètres qui sont au nombre de quatre pour les gestes de la main (configuration, mouvement, orientation et emplacement). Par ailleurs, deux catégories de signes doivent être distinguées : les signes standards, qui sont les gestes pour lesquels les quatre paramètres sont invariables quelque soit le contexte et les signes variables, qui sont ceux pour lesquels au moins un des paramètres est variable en fonction du contexte.

Le système proposé, nommé ARGo, tient compte des résultats de cette étude. Il est composé d'un module de reconnaissance et d'un module de compréhension. Le module de reconnaissance est basé sur une approche markovienne qui a permis de traiter des phrases de gestes encha^nés composées de signes standards et variables (Figure 1). Le module de compréhension est connecté au module de reconnaissance. Il est basé sur la définition de règles syntaxiques spatio-temporelles et la représentation de la scène de narration du signeur qui permet une prise en compte du contexte pour l'interprétation des signes variables.

Résultats et perspectives

L'évaluation a porté sur un corpus constitué de deux ensembles de 44 phrases différentes composées de quatre signes. Les phrases gestuelles ont été réalisées par une seule personne. Le premier ensemble a été utilisé pour l'apprentissage et le deuxième, pour la reconnaissance. En ce qui concerne le premier module, des taux de reconnaissance très encourageants ont été obtenus sur les deux catégories de signes (jusqu'à 96%). Le même corpus a été utilisé pour évaluer le module de compréhension. Ce dernier interprète convenablement l'ensemble des phrases qui ont été correctement reconnues et est capable de détecter les erreurs produites lors du processus de reconnaissance. Un prototype comportant une scène virtuelle permet de visualiser étape par étape le processus d'interprétation. A la fin du processus, si aucune erreur n'a été détectée, une traduction de la phrase en français est produite (Figure 2).

Les gestes de la LSF et les gestes co-verbaux (qui accompagnent la parole) possèdent des propriétés communes. De ce fait, certains aspects du système développé pour traiter les gestes de la LSF peuvent être utilisés pour traiter les gestes co-verbaux. Ainsi, ce travail de recherche offre des perspectives dans le domaine de la LSF, mais aussi dans celui des gestes co-verbaux et donc des interfaces multimodales qui utilisent ce canal de communication.

Références

[1] A. Braffort : <<Reconnaissance et compréhension de gestes, application à la langue des signes>>. Thèse de doctorat, Université Paris-XI Orsay, Juin 1996.

[2] A. Braffort : <<ARGo: An Architecture for Sign Language Recognition and Understanding>>. Progress in Gestural Interaction, Harling &Edwards Eds., Springer-Verlag Pub., 1996.

[3] A. Braffort : <<A Gesture Recognition Architecture for Sign Language>>. Actes de ASSETS'96, ACM, 1996.

Gpe Interaction et Multi-Modalités		Dpt CHM		Sommaire		Présentation