Figure

Objet

Ce travail aborde le problème de la représentation sémantique d'énoncés en Langue des Signes Française (LSF). Nous proposons une étude de situations possibles en LSF en nous focalisant sur quelques situations statiques (localisations spatiales) et quelques verbes de mouvement. Compte tenu des propriétés rencontrées en LSF, nous avons choisi des modélisations s'inspirant des représentations proposées en sémantique cognitive. Elles doivent permettre d'enrichir des systèmes informatiques dédiés à la communication gestuelle, en particulier la compréhension et la génération.

Description

En LSF, du fait du canal gestuel-visuel, la composante spatiale et iconique est essentielle dans l'expression des relations sémantiques. En particulier, un énoncé dénotant une localisation spatiale, un mouvement ou un changement de propriété d'une entité peut être exprimé par le biais de ``substituts''. Il s'agit de gestes exprimés par la configuration manuelle qui donnent des caractéristiques saillantes des entités et sont de nature différente en fonction du point de vue donné par le signeur sur la situation : classificateur, spécification topologique, partie d'une entité. Une classification de ces signes interprétée sur le plan sémantique et formel est ainsi proposée [1]. Dans ces énoncés, d'autres caractéristiques importantes interviennent naturellement telles que le mouvement, la mimique, la direction du regard et la simultanéité de l'information. Pour des réalisations gestuelles traduisant l'idée de ``monter'', c'est donc par une utilisation structurée de l'espace et par le jeu des paramètres (configuration des mains, mimiques, mouvement) que ces différentes situations sont exprimées et différenciées (tableau 1).
Nous décrivons de telles situations spatio-temporelles en utilisant un formalisme proposant une décomposition de la signification. Cette décomposition se fait à l'aide de primitives sémantico-cognitives ancrées sur la perception et l'action [2],[3]. Ainsi, une représentation d'un énoncé dénotant le mouvement d'une entité par rapport à un repère encode la transition d'une première situation vers une autre. Ces situations sont saillantes du point de vue de la perception visuelle. La figure 1 montre l'étude systématique d'une réalisation gestuelle obtenue auprès d'un informateur sourd. A partir des informations articulatoires pertinentes de la séquence de gestes, nous dégageons d'une part une structure opératoire de l'énoncé (ordre des éléments, agencement des signes entre eux)(1-b) et d'autre part une représentation conceptuelle obtenue à partir de la composition d'invariants ou de primitives(1-c).

Résultats et perspectives

La formalisation a été faite sur une centaine d'exemples. Nous travaillons maintenant sur l'implémentation d'un outil devant préciser l'interaction entre les modélisations obtenues et une base d'informations articulatoires. Nous cherchons en particulier à expliciter un niveau intermédiaire ``opératoire" précisant la nature des éléments propres à la LSF. Cet outil doit permettre la simulation de phrases en Langue des Signes par un avatar.

Références

[1] F. Lejeune, A. Risler : ``Les configurations manuelles pronominales en LSF'', Colloque ``Recherches sur la Langue des signes'', Toulouse, Novembre 2001.
[2] F. Lejeune, A. Braffort, J.P Desclés : ``Analyse sémantico-cognitive de quelques structures en Langue des Signes Française''. In Cavé C., Guaitella I., Santi S. (eds) : Oralité et gestualité. Interaction et comportements multimodaux dans la communication. Paris : L'Harmattan (2001).
[3] F. Lejeune, A. Braffort, J.P Desclés : ``Study on Semantic Representations of French Sign Language Sentences''. In Wachsmuth I. and Sowa T. (eds): gesture and Sign language in Human-Computer Interaction, LNAI 2298, Springer (2002).

Groupe GI		Dpt CHM		Sommaire		Présentation

visiteurs.