Figure

Objet

Nous proposons un système de vision non intrusif visant au développement d'outils de perception pour une interaction naturelle et augmentée. Il s'agit de CapRe, un système temps-réel pour la capture (par caméra CCD) et le suivi (dans une séquence d'images) du regard d'un utilisateur assis devant un ordinateur (Fig. 2).

Description

CapRe détecte et localise le composantes du visage dans une séquence d'images. Il effectue ce traitement en combinant plusieurs phases (Fig. 1). Ces phases sont réparties selon deux processus. D'un côté le processus ``Détection et Suivi'' regroupe les trois premières phases qui sont principalement basées sur des techniques de traitement d'image. Ces phases basculent selon les cas entre deux modèles d'état : initialisation et adaptation. De l'autre côté le processus ``Mesures'' regroupe les trois dernières phases et les traitements associés font appel à plus de calculs et de transformations géométriques.

CapRe localise d'abord le visage, les narines et les yeux afin de les suivre. Durant le suivi, il met à jour les paramètres de reconnaissance dans le but de s'adapter aux variations géométriques et photométriques des formes des composantes du visage. Ensuite, CapRe évalue l'orientation de la tête ainsi que celle des yeux pour en déterminer le vecteur de la direction du regard (Fig. 3).

Nous avons réalisé un corpus de 40 films vidéo (15 000 images) représentant 32 personnes différentes assises en face de l'écran (Fig. 4). La durée de chaque film est d'environ 1 minute. Utilisant ce corpus, une évaluation (Table 1) du système a été entreprise pour les trois premières phases (dans le cas de l'état d'initialisation et dans ceux de l'initialisation et l'adaptation conjointement). Nous estimons que la localisation du visage est défaillante lorsque le cadre détecté n'englobe pas le nez et les deux yeux. Pour la localisation du nez ou des yeux, une erreur est prise en compte quand la distance entre cette localisation et la localisation réelle dépasse 5 millimètres. Dans le Table 1, nous représentons les résultats de la localisation de la pupille aussi bien pour toutes les personnes du corpus que pour seulement celles qui ne portent pas de lunettes. Une grande partie des erreurs survenant pour les personnes portant des lunettes sont dues à la réflexion de la lumière sur les verres de lunettes.

Résultats et perspectives

Les cinq premières phases ont été implantées pour les deux états (initialisation et adaptation). Les phases 1, 2, 3 et 4 ont été intégrées dans CapRe. Nous procédons à l'intégration des phases 5 et 6. Pour plus de robustesse, nous envisageons de calculer automatiquement un large nombre de seuils de détection et de reconnaissance en introduisant des techniques d'apprentissage stochastique. Ceci nécessitera un corpus plus grand que celui utilisé.

Pour montrer l'intérêt de CapRe, nous allons augmenter certaines applications multimodales du LIMSI (Meditor, Mix3D et ARGo) par l'introduction de cet outil de perception visuelle. Nous projetons d'autre part d'utiliser CapRe comme outil de mesure de la direction et des mouvements du regard dans des expérimentations cognitives. Ceci dans le but d'analyser les différentes stratégies utilisées par une personne qui travaillerait sur une tâche particulière ou qui naviguerait sur le Web.

Références

[1] C. Collet, A. Finkel et R. Gherbi : ``CapRe : Un système de Capture du Regard dans un contexte d'interaction Homme-Machine'', dans actes d'Interfaces, 6èmes journées internationales de Montpellier, 28-30 Mai 1997, France
[2] C. Collet, A. Finkel et R. Gherbi : ``Gaze capture system in man-machine interaction'', in Proc. of IEEE International Conference on Intelligent Engineering Systems (INES'97), 15-17 September 1997, Budapest, Hungary.
*LSV/ENSCachan

Gpe Interaction et Multi-Modalités		Dpt CHM		Sommaire		Présentation