Figure

Objet

Pour communiquer avec une autre personne, nous utilisons de manière coopérative plusieurs modalités de communication comme par exemple la parole et les gestes. Nous connaissons encore de manière incomplète les mécanismes qui sous-tendent cette multimodalité de la communication humaine, et lui permettent de « bien fonctionner ». De même nous ne connaissons pas complètement le comportement qu'aura « naturellement » un utilisateur face à des interfaces homme-machine qui lui permettraient de combiner ces différentes modalités de communication. L'étude de cette multimodalité de la communication humaine fait actuellement l'objet de recherches fédératives réunissant plusieurs disciplines comme la Linguistique et l'Informatique [1]. Elle comporte plusieurs dimensions comme le recensement et la classification des corpus existants mais surtout le développement de schémas de codage, d'outils d'annotation, d'algorithmes de statistiques comportementales.

Description

Dans le prolongement de techniques d'annotation manuelles du comportement multimodal que nous avions proposé auparavant, nous avons développé des outils permettant de faciliter l'annotation et le calcul de mesures du comportement. Ainsi, nous avons défini une grammaire d'annotation (sous la forme d'une DTD XML). Selon cette grammaire, ces annotations comportementales sont composées de plusieurs sections : une première section décrivant les caractéristiques des objets auxquels le sujet fait référence et une section par segment multimodal contenant une sous-section pour chaque modalité (Figure 1). Un programme a été développé afin d'analyser ce type d'annotation et de calculer des mesures comportementales (Figure 2). Les étapes de ce programme sont les suivantes :

- Analyser le fichier contenant l'annotation et construire l'arbre correspondant en mémoire.

- Affecter une valeur de « saillance » à chaque couple (objet, référence observée) selon des règles telles que « si la référence contient le nom complet de l'objet, alors la valeur de saillance est 1 »

- Calculer la moyenne des valeurs de saillance pour les différentes modalités d'un même segment

- Calculer la moyenne des valeurs de saillance pour tous les objets en affectant de manière arbitraire un poids à chaque modalité

- Calculer des mesures comportementales (taux de complémentarité/redondance, taux d'utilisation équivalente de différentes modalités)

Résultats et perspectives

Nous avons défini un schéma de codage du comportement multimodal et nous avons développé un programme analysant des annotations comportementales pour calculer des mesures statistiques des coopérations entre modalités. Ces outils ont été appliqués à 40 segments extraits de différents corpus. Nous comptons évaluer ces outils de manière plus systématique sur des corpus plus représentatifs. Nous envisageons de les intégrer de manière plus globale dans une méthodologie d'observation du comportement multimodal que nous appliquerons à plusieurs domaines dont la télévision interactive, l'interaction avec des avatars dans des mondes virtuels et l'enseignement (Figure 3). Nous comptons prendre mieux en compte la complexité de codage des différentes modalités, aborder des problèmes de comparaison de schémas de codage et surtout d'intégration d'annotations multiples sur un même corpus en nous inscrivant dans une perspective de coopération internationale [3].

Références

[1] IST-ISLE project, Working group on Natural Interaction and Multimodality
http://isle.nis.sdu.dk/
[2] Martin J.C., Grimard S., Alexandri K. : `` On the annotation of the multimodal behavior and computation of cooperation between modalities ''. Proceedings of the workshop on " Representing, Annotating, and Evaluating Non-Verbal and Verbal Communicative Acts to Achieve Contextual Embodied Agents ", May 29, 2001, Montreal, in conjunction with The Fifth International Conference on Autonomous Agents. pp 1-7.
http://sunsite.informatik.rwth-aachen.de/Publications/CEUR-WS/Vol-46/
[3] Workshop `` Multimodal Resources and Multimodal Systems Evaluation ''. M. Maybury & J.-C. Martin (Eds). Third international conference on language resources and evaluation (LREC'2002), Las Palmas, Canary Islands, Spain, 1st June 2002.
http://www.lrec-conf.org/lrec2002/lrec/wksh/Multimodality.html

Groupe AMI		Dpt CHM		Sommaire		Présentation

visiteurs.