Figure

Objet

Afin de développer des interfaces homme-machine multimodales (combinant plusieurs modalités de communication comme le geste et la parole) qui soient effectivement utilisables, il est nécessaire d'avoir des informations sur le comportement multimodal des utilisateurs potentiels. Dans ce but, plusieurs équipes de recherche construisent des corpus d'observations de sujets interagissant avec des prototypes ou des systèmes simulés. Pour pouvoir utiliser de tels corpus, il faut trouver des métriques d'analyse comportementale spécifiques à la combinaison de plusieurs modalités.

Description

Des expériences de type Magicien d'Oz multimodal, comme celles qui ont été réalisées à l'Institut de Recherche de Stanford [1], fournissent des corpus d'observations qui sont souvent plus complexes à analyser que les interactions permises avec les systèmes multimodaux existants (tableau 1). Les métriques proposées dans les études expérimentales existantes ne nous ont pas semblé suffisamment précises en ce qui concerne la qualification redondante ou complémentaire des combinaisons entre le geste et la parole. Dans un premier temps, nous avons proposé d'utiliser la typologie de types de coopération TYCOON que nous avions proposée initialement pour étudier les systèmes multimodaux. Cependant, il nous a paru difficile de qualifier finement des combinaisons de modalités soit par la redondance, soit par la complémentarité alors que beaucoup d'observations multimodales se situent souvent entre les deux.

Pour compléter notre typologie, nous avons alors introduit la notion d'objet référençable. Un objet référençable est un objet d'une application graphique classique auquel on a rajouté des informations statiques (informations linguistiques ou gestuelles sur la manière de faire une référence à cet objet) et des informations dynamiques (valeurs de saillance utilisées pour la résolution de référence). La valeur de saillance d'un objet référençable dans une modalité est une valeur proportionnelle à l'importance selon laquelle cet objet semble être référencé dans cette modalité. La notion de saillance a déjà été utilisée en multimodal par (Huls et Bos 95) mais sans la combiner avec la notion d'objet référençable ou de types de coopération comme nous le faisons. Des règles de calcul de ces valeurs de saillance sont définies pour chacune des modalités et interviennent dans le calcul de métriques évaluant le taux d'utilisation par le sujet des différents types de coopération entre modalités (équation 1). Ces notions ont été implémentées informatiquement dans une première version d'un noyau multimodal (figure 1).

Résultats et perspectives

Ces métriques vont être utilisées comme base de départ dans le cadre d'un projet européen IST-ISLE pour proposer de manière plus générale des recommandations sur l'annotation de corpus multimodaux et multimédia. Nous étudions également comment utiliser ces notions pour la modélisation d'autres types de coopérations intervenant par exemple en Communication Homme-Homme Médiatisée ou dans des Systèmes Multi-Agents [3].

Références

[1] Kehler, A., Martin, J.C., Cheyer, A., Julia, L., Hobbs, J. & Bear, J. : <<On Representing Salience and Reference in Multimodal Human-Computer Interaction>>. Proceedings of the AAAI'98 workshop on Representations for Multi-modal Human-Computer Interaction. July 26-27, 1998, Madison, Wisconsin. USA (1998) http://tigger.cs.uwm.edu/~syali/AAAI-98-Workshop/aaai-wrkshp.html.
[2] Martin, J.C. : <<TYCOON:six primitive types of cooperation for observing, evaluating and specifying cooperations.>> Working notes of the AAAI Fall 1999 Symposium on Psychological Models of Communication in Collaborative Systems November 5-7th, 1999, Sea Crest Conference Center on Cape Cod, North Falmouth, Massachusetts, USA. http://www-sop.inria.fr/acacia/PM/.
--------------
¹ Stanford Research Institute (une partie de ce travail a été réalisée dans le cadre d'un projet NSF-STIMULATE) : A. Cheyer, L. Julia, J. Hobbs, A. Kehler, J. Bear

Gpe Interaction et Multi-Modalités		Dpt CHM		Sommaire		Présentation