_____________________
VENISE (Virtualité et ENvironnement Immersif pour la Simulation et l'Expérimentation) est une action de recherche transversale à l'ensemble du laboratoire, lancée officiellement en janvier 2001. Cette action a un double objectif :
Réuni environ tous les quinze jours depuis le lancement de l'action VENISE, le comité de suivi s'est principalement concentré sur :
AXE ``Bouclage entre réel et virtuel, et compression de données en mécanique des fluides'B.~Podvin, F.~Lusseyran, P.~Bourdot, Y.~Fraigneau, P. Gougat, C. Tenaud, D.~Touraine, J.-M.~Vézien
Cet axe est issu de la coopération engagée en octobre 1998 entre les deux départements du laboratoire, lorsque plusieurs chercheurs du futur groupe ``Geste et Image'' se sont lancés dans la conception et le développement du logiciel Mécanique des fluides, la première application de RV développée au sein du LIMSI qui permet la visualisation stéréoscopique de bases de données d'écoulements. Sur l'expérience ainsi acquise, notre objectif est maintenant de définir les modalités d'une exploration immersive optimale pour l'étude qualitative d'écoulements tridimensionnels et instationnaires. Figure 1 : L'application Mécanique des fluides~: Visualisation de la base de données d'un mélange compressible turbulent (haut-gauche)~; Coupe sur la jonction entre les deux couches (haut-milieu)~; Surface de propagation de particules iso-temporelles (haut-droite)~; Iso-surface de pression (bas).
Dans ce domaine d'application, les informations à analyser peuvent provenir de
simulations numériques ou de modèles expérimentaux. Ce sont des vecteurs
de grandeurs physiques (vitesse, pression, température, déplacement de
gradients de scalaires...) principalement échantillonnées sur des
maillages tridimensionnels à topologie rectangulaire (typiquement des grilles
cartésiennes XYZ ou homéomorphes à celles-ci~ : portions de cylindre ou de
tore...). La taille typique des bases de données à traiter est d'environ
1 million de points pour chaque instant d'une simulation, donc des données
dynamiques extrêmement lourdes à engendrer, tant en calcul qu'en
visualisation stéréoscopique.
La visualisation stéréoscopique de bases de données statiques que permet
déjà l'application Mécanique des fluides constitue en soi un outil
nouveau pour les chercheurs du domaine (voir figure~1). Au 
demeurant, la richesse et la complexité croissante des écoulements turbulents 
étudiés requiert la mise au point d'environnements logiciels plus efficaces 
pour l'exploration immersive de ces phénomènes spatio-temporels. L'un des buts 
visés est par exemple de pouvoir aider efficacement la réalisation de taxinomies 
sur les micro-structures de certains écoulements, afin de pouvoir mieux 
cibler les objectifs des recherches fondamentales et expérimentales en 
mécanique des fluides.
Du point de vue de la RV, l'intérêt de travailler sur ce type de système 
est principalement de proposer des solutions nouvelles en termes d'architecture 
logicielle et de gestion de scènes complexes. Mais ces solutions ne peuvent 
être pensées de facon pertinente sans l'interaction avec les chercheurs 
en mécanique des fluides, puisqu'il convient de ne pas dénaturer les 
phénomènes à explorer. Dans ce contexte et dans l'état actuel de 
l'avancement de notre réflexion, deux problématiques de recherche
se dégagent à moyen et long termes.
Il s'agit tout d'abord de la mise en évidence des structures
cohérentes. En effet, puisqu'il n'existe pas de définition précise
de ce qui constitue une structure cohérente, et donc pas de critère
universel de détection, les chercheurs en mécanique des fluides sont 
amenés à choisir parmi un arsenal de procédures d'identification - telles 
que l'analyse en ondelettes, la décomposition orthogonale, l'échantillonnage
conditionné pour n'en citer que quelques-unes - celle qui leur paraît la mieux
adaptée au problème en question (contrôle de l'écoulement, interaction
fluide-structure). Une fois les caractéristiques essentielles de
l'écoulement isolées, ils pourront alors chercher à prédire, voire à
contrôler, leur évolution. De manière générale, l'application d'une
procédure de détection accompagnée ou  non d'une focalisation sur une
région particulière de l'écoulement consiste à appliquer une succession
de filtres au signal. L'efficacité et la rapidité de la procédure de
filtrage dépendent fortement  des contraintes de temps et de mémoire
induites par la configuration matérielle de la plate-forme et les divers
montages informatiques réalisés. Notons que le problème de structuration 
des données qui apparaît ici s'inscrit dans un contexte plus large que la 
simple expertise physique, puisqu'il concerne également le stockage, la 
transmission et l'affichage des données.
En second lieu, il s'agit de la comparaison qualitative entre les modèles
expérimentaux et numériques (cf. bouclage entre réel et virtuel). En
ce qui concerne cette seconde problématique, rappelons que l'ensemble des 
résultats tant numériques qu'expérimentaux se présente sous la forme de 
grilles avec des valeurs aux 
nœuds. Une confrontation quantitative pas à 
pas entre valeurs expérimentales et résultats numériques n'a pas de sens 
dans le cas d'un problème instationnaire fortement non-linéaire et donc non 
reproductible. En revanche, une comparaison qualitative directe 3d et adaptative, de 
l'évolution spatio-temporelle des structures mesurées et simulées, pourrait 
se révéler un puissant outil de validation. Cependant, les métrologies 
existantes ne permettent pas d'envisager l'accès à une information 
tridimensionnelle complète à une cadence compatible avec les échelles de 
temps caractéristiques de la plupart des écoulements. Il faudra donc étudier
l'insertion des données expérimentales partielles au sein de la visualisation 
des champs obtenus par simulation numérique.
AXE ``Exploration immersive et analyse de données textuelles et factuelles appliquées au génome''R.~Gherbi, D.~Béroule, J.~Hérisson, P.~Paroubek, W.~Turner
La génomique est une science récente et en pleine expansion. On dispose 
actuellement de la séquence intégrale de plusieurs centaines de génomes. 
Par ailleurs, il existe de vastes espaces informationnels sur le réseau 
mondial qui contiennent à la fois d'immenses banques de données factuelles 
(GenBank, SwissProt, etc.) et des millions de publications biomédicales 
(PubMed, MEDLINE, NIH, etc.). La mission difficile consiste à décrypter, 
en lien avec les biologistes, les données génomiques (identifier les 
structures et les fonctions), car les banques sont de très grandes 
tailles, hétérogènes, et dispersées. De plus, les interactions entre objets 
biologiques sont mises en valeur plutôt dans les données textuelles (articles 
scientifiques écrits en langue naturelle avec un vocabulaire spécialisé).
Cette expansion de la génomique, mais aussi le développement ces dernières 
années des expérimentations produisant des données du transcriptome, sont 
en train de bouleverser complètement la manière de faire de la biologie, 
mais aussi l'impact et les débouchés applicatifs en thérapie, en 
pharmaceutique, en agriculture, et plus généralement dans les secteurs 
industriels des biotechnologies. Ils impliquent aussi la mise en place 
de puissants outils informatiques, qui doivent rester conviviaux, 
afin de traiter cet énorme flux mais aussi de maîtriser la complexité 
des informations.
Dans ce contexte, les travaux menés dans cet axe de VENISE visent la mise 
en œuvre et l'exploitation des potentialités offertes par la RV pour permettre 
une exploration conviviale et efficace de ces données. En effet, nous pensons 
qu'une approche intégrée est nécessaire, mettant en relation les outils 
de visualisation interactive et d'extraction de connaissances à partir de textes. 
On remarque souvent que ces données sont distribuées sur plusieurs sites 
avec très peu de passerelles transparentes entre eux. Il faut donc les rendre 
partageables et aisément accessibles aux dizaines de milliers d'utilisateurs 
potentiels. Nous voyons à cette intégration un double intérêt : d'une 
part la systématisation de la création de liens entre données factuelles et 
données textuelles augmenterait continuellement les connaissances sur 
les propriétés, les fonctions et les structures biologiques décrites 
dans les banques factuelles ; d'autre part et symétriquement, puisque 
ces liens influencent la compréhension des séquences identifiées, leur 
qualité doit être contrôlée, voire débattue de manière
collaborative (in situ ou à distance) dans des situations d'interprétations 
variées. Ce double intérêt peut être considéré comme 
un enjeu clé de la bio-informatique documentaire, en complément à
d'autres axes de recherche de ce domaine scientifique.
Dans un premier temps, nous nous appuyons en particulier sur les 
travaux menés dans les projets de veille technologique sur la 
microbiologie et la résistance aux antibiotiques (contrat avec
le département SDV du CNRS, l'INIST-CNRS et l'Institut Gustave 
Roussy (IGR) Villejuif) et dans l'action bioinformatique 
AMTEFAG animés au LIMSI par W.~Turner et P. Paroubek, 
ainsi que ceux de la plate-forme GenoMEDIA (Modélisation et 
Exploration 3D Interactive pour l'Analyse des génomes) développée 
sous la responsabilité de R.~Gherbi< au sein du groupe ``Geste 
et Image''. Le but recherché est de permettre à un biologiste 
de pouvoir interroger et naviguer entre des données factuelles (les 
représentations graphiques des séquences génomiques et leurs annotations) 
et des données textuelles (terminologies et connaissances extraites 
de résumés de publications scientifiques). Il s'agit par exemple de 
construire et d'associer des familles de gènes par le développement 
d'outils intégrés d'analyse des séquences et d'analyse textuelle de 
résumés bibliographiques concernant ces familles, cela dans le contexte 
de la base CancerGene (IGR) et de l'Atlas de cytogénétique. Les outils 
d'interaction 3d (voir  plate-forme EVI3d ) conçus et développés
au bénéfice de l'action transversale VENISE seront précieux pour 
la mise en place rapide d'expérimentations avec des utilisateurs, de 
sorte à affiner et évaluer nos choix techniques. Dans l'avenir, nous 
envisageons la systématisation de la création de liens entre données 
factuelles et données textuelles, avec l'exploration virtuelle comme ligne 
conductrice.
AXE ``Interactions coopératives in situ pour la radiologie 
médicale''  A.~Osorio, J.~Atif, S.~Neuenschwander*, 
L.~Ollivier*, X.~Ripoche, V.~Servois**
* Institut Curie (Paris)~; ** Institut Curie et doctorant LIMSI-CNRS. 
L'objectif de ce projet de recherche est la conception, la mise en 
oeuvre 
et l'implantation sur site d'un système informatique de couplage entre 
l'imagerie radiologique, la RV et des actes médicaux chirurgicaux ou 
radiothérapiques.
Au cours de ces dernières années, l'imagerie radiologique a connu un essor 
considérable : de nouveaux types de scanner et de nouvelles unités d'IRM 
permettent d'obtenir des images de plus en plus précises mais avec un coût 
informatique de plus en plus important, notamment en taille mémoire. Les images 
radiologiques sont devenues un outil clinique essentiel en diagnostic mais force 
est de constater que dans les applications cliniques leur utilisation est presque 
toujours effectuée à partir de planches photographiques. Cette situation est 
contradictoire avec les développements en imagerie permettant la détection 
de lésions de plus en plus petites et pour lesquelles le besoin de précision 
est très important.
Plusieurs centres hospitaliers disposent sur site d'un ou plusieurs systèmes 
d'imagerie médicale (IRM, scanner, échographes) et d'une ou plusieurs unités 
interventionnelles : chirurgie, radiothérapie, radiologie interventionnelle, etc. 
Ces systèmes sont très souvent interconnectés par un réseau informatique. 
Néanmoins, très peu d'informatique avancée est aujourd'hui implantée dans 
les centres médicaux.
Dans ce projet nous envisageons la réalisation d'un système capable d'assurer 
le couplage informatique, en temps réel, entre les unités d'imagerie (IRM, 
scanner) et les unités de traitement via un dispositif de RV. 
Dans une première phase, la radiothérapie et la chirurgie interventionnelle 
seront les deux applications canoniques.
Le système proposé comporte les sous-systèmes suivants :
Dans une première phase, ce système doit constituer un outil très précis 
d'aide au centrage en radiothérapie~; il pourra aider le praticien à la 
localisation, à partir de la forme extérieure du corps humain, des lésions 
à traiter. Un modèle probatoire est en cours de développement sur machine 
SGI de type Octane. Les premières expériences seront effectuées en étroite 
collaboration avec l'Institut Curie.
Pour ce faire, le LIMSI a donc conçu et développé un système informatique 
qui assure la reconstruction 3d et la mesure du volume d'organes et de lésions. Ce système fonctionne en ligne et est 
capable de lire des examens DICOM. Ce logiciel est opérationnel sur PC et 
partiellement, sous Unix. Rédigé en langage C/C++, il va pouvoir être 
interfacé à la plate-forme EVI3d destinée à gérer les dispositifs 
de RV de l'action VENISE. Des recherches en interaction 3d permettront d'adapter au 
contexte immersif les outils de dialogue nécessaires à cette application.
A terme, le couplage de notre système de radiologie 3d avec un dispositif 
de RV vise la mise au point d'un environnement virtuel collaboratif totalement 
nouveau. Cet environnement permettra à des praticiens de divers compétences 
(médecins, radiologues, chirurgiens...) de préparer ensemble, sur des 
données 3d particulièrement précises, des actes médicaux lourds 
à caractère chirurgical ou radiothérapique. En outre, plusieurs autres 
applications sont possibles, comme par exemple l'enseignement d'actes 
thérapeutiques aux étudiants de ces disciplines, ou encore pour la formation 
continue des praticiens.
AXE ``Interaction multimodale pour une CAO immersive'' P.~Bourdot, Y.~Bellik,L.~Bolot, B.~Bossard, A.~Braffort, J.~Mariani, D.~Touraine, J.M.~Vézien
En partant de l'expérience issue du projet MIX3D (Multimodal Interaction in a X environment 
with a 3D virtual space) qui se développa de 1994 à 1996 au sein 
du LIMSI, l'objectif est d'élaborer un modèle d'interface immersive 
et multimodale, générique à diverses configurations de dispositifs 
de RV, qui permette une coopération fine avec les fonctionnalités et 
les structures de données avancées d'un système de CAO existant.
L'interaction multimodale en entrée (ou fusion multimodale), est un domaine 
relativement bien maîtrisé pour bon nombre d'applications. En
revanche, dans le contexte des applications 3d, assez peu de travaux en 
matière d'interfaces multimodales ont abouti à des prototypes 
pré-industriels. D'un autre côté, l'interaction immersive est 
susceptible de faire des systèmes CAO de véritables instruments de 
simulation 3d temps réel pour la conception d'objets. Au demeurant, bon 
nombre d'interfaces immersives sont enfermées dans une approche 
méthodologique qui consiste à les concevoir comme une simple extension 
3d de nos interfaces traditionnelles (cf. claviers virtuels, menus, boutons 
et autres widgets 3d). Dans ce domaine, l'approche du LIMSI est 
fondamentalement de penser que la plupart de ces artifices, qui en 
l'occurrence polluent souvent l'espace de travail 3d, pourraient 
être supprimés. L'un des objectifs de cet axe de recherche de l'action 
transversale VENISE vise donc à mettre au point des solutions robustes 
pour une gestion multimodale des interactions 3d, et ce, en relation avec 
des systèmes avancés de reconnaissance ou de traitement des modalités 
sensori-motrices.
	
Les solutions étudiées dans le cadre de cette problématique portent 
tout d'abord sur la conception et l'évaluation d'une architecture 
distribuée, de type événementielle, susceptible de gérer les 
phénomènes de latence introduits par lesdits systèmes avancés de 
certaines de ces modalités (parole, geste). Cela est historiquement 
la première fonction de l'EVserveur, un gestionnaire distribué 
d'événements et de périphériques destiné à faciliter le 
développement d'applications immersives (voir activités de recherche 
du Thème 1 du groupe ``Geste et Image''). Ensuite, pour qu'un 
signal reconnu ou traité soit correctement interprété, il convient 
non seulement que le module chargé de l'interprétation possède une 
modélisation de la partie du noyau fonctionnel qui lui incombe, mais 
il faut de plus que cette couche ait un accès aux objets de la base 
de données active sur l'application. Typiquement, l'interprétation 
complète de gestes d'interaction 3d suppose de déterminer le ou les 
objets en relation avec le geste.
Dans le contexte d'une application de CAO immersive dont les ressources 
calculatoires sont distribuées, nous nous proposons donc d'étudier en 
particulier, comment apporter aux interpréteurs l'information 
géométrique requise, sans imposer aux ressources de calcul de 
chaque modalité la gestion complète d'un miroir de la base de 
données 3d. Par ailleurs, plusieurs autres problèmes seront abordés comme 
par exemple, la prise en compte de la variabilité des gestes à reconnaître 
du fait de la taille et de la distance aux objets, ou de la densité de la 
scène. En traitement de la parole, l'enjeu est de prouver que les interactions 
de type menu peuvent être définitivement supplantées par des commandes 
vocales, d'autant que les applications CAO se prêtent assez bien au 
développement de systèmes multi-locuteurs.
Mais cet axe de VENISE va aussi s'intéresser à la gestion de la 
multimodalité en sortie. Cette problématique vise à doter le système 
interactif de mécanismes automatiques (voire de capacités intelligentes) qui 
lui permettent de sélectionner de manière dynamique et en fonction de divers 
critères (scène, plate-forme matérielle, utilisateur,...), une forme 
de présentation pertinente et adaptée pour communiquer une information à 
l'utilisateur.
Or, dans les systèmes interactifs actuels, on constate que toutes les 
informations présentées sont prédéterminées dans leurs modalités de 
sortie. Ainsi, pour attirer l'attention de l'utilisateur sur un objet particulier 
d'une scène 3d, le développeur de l'application va par exemple décider, 
une fois pour toutes, d'attribuer une certaine couleur à cet objet, ou de 
lui affecter un effet de clignotement. Cependant, pour que l'interaction 
soit efficace lors d'une simulation ou d'une exploration immersive 
d'informations complexes, on se doit de prendre en compte à la fois le 
contexte de l'objet (couleurs des objets environnants...) et les 
paramètres d'observation de la scène virtuelle (direction du 
regard...).
Nos recherches sur la multimodalité en sortie s'orientent donc vers l'étude 
et la conception d'architectures de systèmes interactifs capables de supporter 
des modèles d'interaction dynamiques et adaptatifs. Les méthodes de conception 
et de spécification actuelles de ces systèmes sont en effet inadaptées à la 
résolution d'un tel problème car elles ne prennent en compte que la 
spécification des formes de présentation et négligent complètement 
la modélisation des contenus sémantiques. Il devient dès lors nécessaire 
d'avoir une réflexion en profondeur sur le processus de conception des 
systèmes interactifs ainsi que sur la définition de nouveaux formalismes 
de spécification capables de supporter ce type de multimodalité. 
De tels formalismes permettront de mettre en place des mécanismes de 
renforcement ou au contraire de substitution de modalités (transmodalité) 
en fonction du contexte d'utilisation. Ainsi, par exemple, le système
interactif pourra décider de renforcer un retour d'effort par certaines 
manifestations visuelles ou alors, en détectant l'absence ou la défaillance
d'un périphérique haptique, il pourra remplacer un feedback sensori-moteur 
par une combinaison d'autres modalités.
Pour conclure, notons que l'action transversale VENISE est d'ores et déjà 
impliquée dans plusieurs collaborations de recherche, tandis que des partenariats 
industriels et institutionnels sont en cours de développement.
Au niveau du campus d'Orsay, outre les collaborations liées à la mécanique
des fluides et à la bio-informatique, une coopération spécifique s'engage
actuellement avec l'IDRIS. Ce projet vise à faire l'étude de faisabilité
d'une boucle ``Super calculateur, Calculateur graphique, Utilisateur'' susceptible 
de gérer, via un réseau haut débit, des simulations scientifiques temps-réel 
qui seraient paramétrées et analysées au travers d'interactions sensorielles 
immersives.
A l'échelle nationale, nous collaborons avec une vingtaine de partenaires 
académiques et industriels au projet PERF-RV (PlatE-foRme Française de 
Réalité Virtuelle, bureau d'étude du futur). Ce projet, labellisé 
plate-forme RNTL par le Ministère de la Recherche en 2000, contractualisé 
pour un an en février 2001, vient de voir son renouvellement accepté pour deux 
ans. Dans le cadre de cette collaboration, le groupe ``Geste et Image'' du 
département CHM est en particulier responsable de l'action SP2.A2 qui vise à 
réaliser le prototype pré-industriel d'un gestionnaire distribué de 
périphériques de RV (capteurs de mouvements, gants numériques...) et de 
modules de reconnaissances (parole, geste...). L'une des finalités de 
l'EVserveur est de fournir avec de très faibles latences toutes les 
informations nécessaires au développement de modules de gestion multimodale des 
interactions, moteurs interactifs incontournables si l'on veut dépasser les 
contraintes ergonomiques des dispositifs actuels de RV.
Depuis début 2002, nous sommes aussi impliqués dans l'action spécifique 
``Réalité Virtuelle et Cognition'' du département STIC du CNRS. Concrètement, 
au sein d'un premier réseau constitué de quatre autres équipes de recherche 
(équipe ``Réalité Virtuelle et Augmentée'' de l'Ecole des Mines de Paris, 
UMR ``Mouvement et Perception'' de Marseille, équipe SIAMES-IRISA de Rennes, 
LPPA du Collège de France), cette action spécifique vise à inciter le lancement 
d'une production scientifique interdisciplinaire autour de trois axes de travail~:
Au niveau international plusieurs visites ont eu lieu auprès de l'Université 
de l'Illinois à Urbana Champaign. Une réflexion est en cours pour engager 
une collaboration sur le thème du travail coopératif à travers des 
réseaux à large bande qui, avec l'Image et le Génie des Procédés, 
est au coeur de l'accord-cadre de coopération entre le CNRS 
et cette Université.
Composition du comité de suivi~:
P.~Bourdot (co-responsable de VENISE), 
V.~Bhoyroo (Gestionnaire), 
A.~Choisier (Resp. hygiène et sécurité), 
P.~Le Quéré (Directeur du LIMSI), 
D.~Lerin (Resp. infrastructures), 
J.~Mariani (co-responsable de VENISE), 
B.~Mérienne (Resp. des moyens informatiques), 
S.~Pageau-Maurice (Resp. communication), 
J.~Raguideau (Administratrice), 
G.~Sabah (Dir. Adjoint du LIMSI), 
D.~Teil (co-secrétaire scientifique), 
J.-M.~Vézien (co-secrétaire scientifique).
Composition du comité scientifique
Membres ès qualités~:
P.~Bourdot, P.~Le Quéré,  J.~Mariani, 
G.~Sabah,  D.~Teil,  J.-M.~Vézien.
Représentants thématiques~:
C.~d'Alessandro~(PS/CHM), 
Y.~Bellik~(AMI/CHM), 
L.~Bolot~(GI/CHM), 
M.~Denis~(CH/CHM), 
F.~Gaunet~(CH/CHM), 
R.~Gherbi~(GI/CHM), 
M.~Jardino~(LIR/CHM), 
F.~Lusseyran~(DFT/ME), 
A.~Osorio~(PS/CHM), 
P.~Paroubek~(TLP/CHM), 
B.~Podvin~(DFT/ME), 
M.~Pons~(TSF/ME), 
C.~Tenaud~(DFT/ME), 
W.~Turner~(AMI/CHM).
Membres externes au laboratoire~: en cours de désignation.