Figure

Objet

Outre un noyau géométrique pour la gestion sous OpenGL de périphériques stéréoscopiques (lunettes actives, casque immersif) ou de dispositifs rétroprojetés de grande taille (Holobench, CAVE ou RAVE), la plate-forme EVI3d vise à mettre au point une architecture distribuée, pour des applications de Réalité Virtuelle ou Augmentée (RV&A). Cette architecture combine les avantages d'une gestion événementielle des interactions sur un réseau faible bande, avec ceux d'une gestion haut débit de flots de données entre machines dédiées (figure 1).

Description

Notre approche de l'interaction immersive est fondamentalement orientée vers une gestion multimodale des interactions. Dans ce contexte, la plate-forme EVI3ds'intéresse notamment à l'intégration de modules de reconnaissance de la parole et du geste, traitements qui pour garantir une interaction temps réel doivent être répartis sur différents calculateurs. Au demeurant une telle architecture suppose qu'un serveur soit en mesure d'assurer avec de très faibles latences la distribution des événements produits par ces modules. Pour ce faire, nous avons conçu l'EVserveur, un gestionnaire distribué de périphériques de RV&A qui assure la synchronisation temporelle fine des calculateurs (1 ms de précision sur un réseau 10 BaseT), de façon à garantir une datation fiable des événements (latence inférieure a 4 ms).

Dans le principe, tous les modules d'une application qui tourne sur la plate-forme EVI3d sont interconnectés via l'EVserveur (figures 1 et 2). Cependant, certaines interactions sensori-motrices d'une part, la simulation de certains phénomènes techniques ou scientifiques d'autre part, requièrent aussi des services de communication haut débit. C'est en effet le cas entre les modules de rendus graphiques, haptiques et sonores qui sont supposés partager des informations 3d sur la totalité d'une scène virtuelle, mais aussi par rapport au processus chargé de calculer en temps réel les données utiles à chaque instant d'une simulation. Dans notre architecture ce transfert d'information doit se faire par des connexions haut débit directes entre calculateurs, après un accord des parties obtenu par un échange de requêtes via l'EVserveur.

Résultats et perspectives

L'application "Mécanique des Fluides" a jusque-là servi de support à la mise au point de la plate-forme EVI3d (voir action transversale VENISE). En relation avec des interactions X window (gérées sous IRIX), l'EVserveur permet à cette application de disposer d'événements issus d'un capteur de mouvements, tandis qu'elle reçoit d'un second calculateur (géré sous Windows) des événements issus d'un système de reconnaissance de la parole (système mono-locuteur). Outre l'activité de publication autour de l'architecture de la  plate-forme EVI3d [1,2], la partie EVserveur est au coeur du partenariat du LIMSI-CNRS dans le projet PERF-RV du RNTL. Dans ce contexte, nous avons procédé à l'adjonction de différents pilotes de périphériques (gants numériques, stylet haptique), tandis qu'un premier module de reconnaissance de gestes a été développé (cf. DEA de B.~Bossard) et validé sur des interactions immersives avec des objets OpenCASCADE (cf. DEA de  D.~Goularas). Le démonstrateur Nautilus en cours de développement vise à montrer, sur des scènes 3DS (format de données du logiciel 3D Studio), l'intégration de ces différents travaux dans l'ensemble des fonctionnalités interactives déjà offertes par la plate-forme EVI3d.

Références

[1] P. Bourdot, D. Touraine : ``A Hierarchical Server to Manage Multimodal and Collaborative Interactions within Virtual Environments.'' In Proc. of AI'2001, International Conference on Applied Informatics. IASTED Ed. ; Innsbruck (Austria), Feb. 2001.
[2] D. Touraine, P. Bourdot : ``VEserver : a manager for input and haptic multi-sensorial devices.'' In Proc. of the 10^th IEEE International Workshop on Robot-Human Interactive Communication. IEEE ROMAN 2001, Bordeaux & Paris (France), Sep. 2001.

Groupe GI		Dpt CHM		Sommaire		Présentation

visiteurs.