Figure

Objet

En communication gestuelle, les mains sont deux canaux de communication qui peuvent être aussi bien synchrones que complètement asynchrones. Trois cas se présentent : une seule main intervient (fig. 1-a), les deux mains interviennent de manière désynchronisée (fig. 1-b), les deux mains interviennent de manière synchronisée (fig. 2). Le but est alors de pouvoir détecter ces différents cas et de reconnaître correctement les gestes produits.

Description

Dans l'objectif de mettre au point l'architecture générique d'un système de reconnaissance de gestes susceptibles de prendre en compte leur degré de synchronisation [1], nous menons actuellement une étude comparée entre la Langue des Signes et l'interaction manuelle en Réalité Virtuelle.
En Langue des Signes, ce sont les signes dits de ``grande iconicité'' que l'on va traiter, car ces derniers présentent typiquement des alternances entre signes synchrones et asynchrones. La prise en compte de cette caractéristique est particulièrement délicate car cela pose des problèmes de modélisation des liaisons syntaxiques et sémantiques entre signes. L'autre difficulté de la Langue des Signes est sa complexité. En effet la taille du vocabulaire étant assez importante, plutôt que de reconnaître les signes eux-mêmes, on va travailler sur les composantes d'un signe : forme de la main (configuration), mouvement, orientation, et emplacement. Cela permet de traiter des vocabulaires beaucoup plus restreints et donc d'avoir des traitements plus rapides.

Pour l'interaction manuelle en Réalité Virtuelle, les problèmes de reconnaissance semblent moins complexes (les gestes sont moins nombreux et a priori plus simples). Cependant, le traitement des gestes doit non seulement tenir compte des relations entre main dominante et main dominée, mais aussi contextualiser les gestes aux objets de la scène virtuelle. En effet pour une même tâche de manipulation, suivant la taille et la forme de l'objet que l'on veut manipuler, l'interaction se fera avec une ou deux mains et la configuration des mains sera variable.

Pour pouvoir effectuer la reconnaissance des trois types de gestes, l'architecture générique proposée est composée de trois parties fonctionnant en parallèle : une partie pour reconnaître les gestes produits par la main gauche, une deuxième pour les gestes produits par la main droite et une troisième pour les gestes où les deux mains sont synchrones (fig. 3). Suivant le domaine d'application ces parties sont plus ou moins complexes. Pour la Langue des Signes, elles consistent en plusieurs modules chargés de reconnaître les différentes composantes des gestes. Pour la Réalité Virtuelle, notre système opère actuellement sur une classification de gestes statiques élémentaires. Pour améliorer l'ergonomie de l'interaction, une reconnaissance de gestes dynamiques semble nécessaire à moyen terme.

Ces trois parties émettent en sortie un symbole associé à un score (probabilité d'apparition, score de classification,... ) et une durée. Un module de comparaison se charge de sélectionner une de ces sorties. Dans un premier temps le choix sera effectué en fonction du score du symbole et de sa durée. Suivant les résultats qui seront obtenus avec cette méthode, on se tournera dans un second temps vers des méthodes pouvant faire intervenir le contexte du geste.

Pour la Langue des Signes, on se penchera sur les aspects de relation syntaxique et sémantique qui s'établissent entre les gestes produits simultanément ou séparement par les deux mains. Pour la Réalité Virtuelle, on s'intéressera aux liens des gestes avec leur contexte (objets de la scène auxquels il s'appliquent).

Résultats et perspectives

Actuellement, un module de reconnaissance de gestes à une main est en cours de développement dans le domaine de la Réalité Virtuelle. Une fois finalisé, on pourra passer à la conception du système complet pouvant gérer les deux mains et leur synchronicité, d'abord dans le domaine de la Réalité Virtuelle, puis dans celui de la Langue des Signes. On développera alors des systèmes de reconnaissance d'une granularité plus fine afin de pouvoir traiter en parallèle les divers composants d'un geste.

Références

[1] B. Bossard. ``Conception d'un système de reconnaissance opérant sur plusieurs flux simultanés de données'', Rapport de DEA, 2001.

Groupe GI		Dpt CHM		Sommaire		Présentation

visiteurs.