Figure

Objet

CapRe est un système de vision permettant de doter la machine d'une capacité de perception. Il doit satisfaire les différentes contraintes imposées par son utilisation en interaction homme-machine. De plus, il est nécessaire de fournir une caractérisation fine de son fonctionnement, en menant une évaluation quantitative de ses composantes. Le système doit être testé avec un corpus réalisé dans de réelles conditions d'interaction. Il faut noter que l'évaluation de systèmes de vision n'est qu'à son début, ce travail s'inscrit donc dans une démarche qui vise à considérer l'évaluation comme une étape primordiale dans la conception de systèmes robustes.

Description

CapRe traite des séquences d'images avec comme but de détecter, de localiser et de suivre des composantes de la tête (visage, nez et yeux) en exécutant successivement plusieurs phases (modules de traitement d'images). Ces phases sont contrôlées par un mécanisme de type automate à deux états : un état d'initialisation permet au système de s'amorcer automatiquement, et un état d'adaptation fait en sorte que CapRe suive la composante et adapte de façon dynamique les paramètres de traitement. Le système évalue en permanence la pertinence des résultats de ces traitements pour décider si la composante est bien détectée ou non. Cette décision est exploitée pour faire transiter le système d'un état à l'autre : en cas de succès, une transition de l'état d'initialisation à l'état d'adaptation est effectuée, la transition inverse se produit dans le cas contraire (composante ``perdue'').

Nous avons défini un protocole permettant d'évaluer le système CapRe. Un corpus de test a été élaboré de manière à rendre compte des conditions dans lesquelles le système doit fonctionner. Les utilisateurs ont été filmés pendant qu'ils interagissaient avec la machine (Figure 1a), selon le scénario suivant : dix chiffres sont affichés en désordre à l'écran, l'utilisateur doit cliquer avec la souris sur chacun d'eux dans l'ordre croissant (Figure 1b). Ce scénario permet d'obtenir des films de courte durée (30 à 120 secondes), dans lesquels les personnes effectuent beaucoup de mouvements de la tête et des yeux. Le corpus d'évaluation est composé d'une quarantaine de films (Figure 2), où chaque image a été étiquetée en localisant le nez et les yeux (15000 images au total).

Le système CapRe a été évalué sur plusieurs aspects : le traitement d'image pour la détection de chacune des composantes de la tête (table 1, initialisation) ; les décisions du système sur la pertinence du résultat de ces traitements pour chacune des composantes (tables 2 et 3); le traitement d'image pour le suivi de chacune des composantes (table 1, initialisation et adaptation).
Les tables 2 et 3 montrent les quatre cas possibles de la décision du système concernant la détection d'une composante : le système pense avoir détecté la composante positivement (cas (1)) ; ...négativement (cas (2)) ; le système pense ne pas avoir détecté la composante positivement (cas (3)) ; ...négativement (cas (4)). Les cas (1) et (2) sont importants dans l'évaluation globale du système, car ils reflètent son comportement vis-à-vis de l'extérieur (résultats des valeurs correctes dans le cas 1 ou des valeurs fausses dans le cas 2). Les deux autres cas sont intéressants pour affiner les performances internes du système, mais n'ont pas d'incidence externe directe.

Résultats et perspectives

Les résultats de l'évaluation valident certains choix pris lors de l'élaboration du système et indiquent des améliorations possibles. Cette étude a permis de poser les problèmes liés à l'évaluation des systèmes de vision appliqués à l'interaction homme-machine. Elle fait notamment ressortir l'importance des corpus tant pour la spécification des systèmes que pour leur évaluation.

Gpe Interaction et Multi-Modalités		Dpt CHM		Sommaire		Présentation