Figure

Objet

La CHM s'intéresse à l'amélioration des échanges entre les hommes et les machines. Cette amélioration passe par l'introduction de nouvelles modalités qui ne doivent pas augmenter la charge cognitive de l'utilisateur ni le gêner. En effet, pour plus d'efficacité, l'utilisateur est censé se focaliser sur l'accomplissement de sa tâche. Dans ce contexte, la prise en compte des informations visuelles sur l'utilisateur peut améliorer l'interaction, à condition de disposer d'outils de capture suffisamment discrets pour que l'utilisateur puisse effectuer des mouvements spontanés. Dans un premier temps, on s'intéresse à l'exploitation des mouvements oculaires en développant un système (CapRe) de capture du regard d'un utilisateur assis devant sa machine (Figure 1).

Description

CapRe passe par plusieurs phases (Figure 2) qui doivent satisfaire un certain nombre de contraintes liées à l'interaction homme-machine, en particulier le temps réel. Ceci est obtenu par le fait d'utiliser soit des calculs simples dans une grande région de l'image, soit des calculs complexes dans une petite région de l'image. Les trois premières phases réalisent la localisation et le suivi du visage, du nez et des yeux. Ces phases fonctionnent selon deux états : un état d'initialisation et un état d'adaptation. L'état d'initialisation consiste à s'assurer de localiser le visage et ses composantes (nez et yeux). Dans l'état d'adaptation, on suit le visage et ses composantes dans une région voisine de leurs localisations précédentes, ceci en adaptant les paramètres de reconnaissance. Dans le restant des phases, le système évalue l'inclinaison du visage de l'utilisateur par rapport à l'écran et détermine le vecteur composé par le centre de la pupille et le barycentre du blanc de l'oeil. Enfin, Il calcule la direction du regard par composition des deux vecteurs précédents. Le système reste dans cet état d'adaptation jusqu'à ce qu'il perde le visage. Dans ce cas, il revient dans l'état d'initialisation.

Résultats et perspectives

Nous avons implémenté les trois premières phases du système de capture, pour les deux états, initialisation et adaptation. Le système est capable de détecter la présence d'un utilisateur, de localiser son visage, son nez et ses deux yeux, et de suivre ses composantes tant qu'elles sont dans le champ de vision de la caméra. Nous sommes en train de mettre au point une évaluation quantitative du système de capture pour la détection et le suivi des composantes du visage, en enregistrant les images captées et les résultats en sortie de chaque phase. Il est envisagé d'intégrer CapRe dans des systèmes d'interfaces multimodales ou des systèmes de reconnaissance de gestes. Nous utiliserons notre système pour la mise au point d'expériences cognitives. Celles-ci visent à analyser les différentes stratégies mises en oeuvre par un utilisateur lors de tâches comme l'apprentissage d'un logiciel ou la recherche d'informations dans des documents multimedia (web). Cela en vue de construire un modèle de l'utilisateur à partir d'informations verbales et non-verbales recueillies lors de ces expériences.

Références

[1] S. Gibet, A. Braffort, C. Collet, F. Forest, R. Gherbi et T. Lebourque : "Gesture in human-machine communication: capture, analysis-synthesis, recognition and semantics", in Progress in Gestural Intercation. P.A. Harling and A.D.N. Edwards Eds. Springer-verlag Pub. (actes de Gesture Workshop'96, York, UK)

[2] C. Collet, A. Finkel et R. Gherbi : "CapRe : Un système de Capture du Regard dans un contexte d'interaction Homme-Machine", dans actes d'Interfaces, 6èmes journées internationales de Montepellier, 28-30 Mai 1997, France

[3] C. Collet, A. Finkel et R. Gherbi : "Gaze capture system in man-machine interaction", in Proc. of IEEE International Conference on Intelligent Engineering Systems (INESEA'97), 15-17 September 1997, Budapest, Hungary

Gpe Interaction et Multi-Modalités		Dpt CHM		Sommaire		Présentation