_____________________
VENISE (Virtualité et ENvironnement Immersif pour la Simulation et l'Expérimentation) est une action de recherche transversale à l'ensemble du laboratoire, lancée officiellement en janvier 2001. Cette action a un double objectif :
Réuni environ tous les quinze jours depuis le lancement de l'action VENISE, le comité de suivi s'est principalement concentré sur :
AXE ``Bouclage entre réel et virtuel, et compression de données en mécanique des fluides'B.~Podvin, F.~Lusseyran, P.~Bourdot, Y.~Fraigneau, P. Gougat, C. Tenaud, D.~Touraine, J.-M.~Vézien
Cet axe est issu de la coopération engagée en octobre 1998 entre les deux départements du laboratoire, lorsque plusieurs chercheurs du futur groupe ``Geste et Image'' se sont lancés dans la conception et le développement du logiciel Mécanique des fluides, la première application de RV développée au sein du LIMSI qui permet la visualisation stéréoscopique de bases de données d'écoulements. Sur l'expérience ainsi acquise, notre objectif est maintenant de définir les modalités d'une exploration immersive optimale pour l'étude qualitative d'écoulements tridimensionnels et instationnaires. Figure 1 : L'application Mécanique des fluides~: Visualisation de la base de données d'un mélange compressible turbulent (haut-gauche)~; Coupe sur la jonction entre les deux couches (haut-milieu)~; Surface de propagation de particules iso-temporelles (haut-droite)~; Iso-surface de pression (bas).
Dans ce domaine d'application, les informations à analyser peuvent provenir de
simulations numériques ou de modèles expérimentaux. Ce sont des vecteurs
de grandeurs physiques (vitesse, pression, température, déplacement de
gradients de scalaires...) principalement échantillonnées sur des
maillages tridimensionnels à topologie rectangulaire (typiquement des grilles
cartésiennes XYZ ou homéomorphes à celles-ci~ : portions de cylindre ou de
tore...). La taille typique des bases de données à traiter est d'environ
1 million de points pour chaque instant d'une simulation, donc des données
dynamiques extrêmement lourdes à engendrer, tant en calcul qu'en
visualisation stéréoscopique.
La visualisation stéréoscopique de bases de données statiques que permet
déjà l'application Mécanique des fluides constitue en soi un outil
nouveau pour les chercheurs du domaine (voir figure~1). Au
demeurant, la richesse et la complexité croissante des écoulements turbulents
étudiés requiert la mise au point d'environnements logiciels plus efficaces
pour l'exploration immersive de ces phénomènes spatio-temporels. L'un des buts
visés est par exemple de pouvoir aider efficacement la réalisation de taxinomies
sur les micro-structures de certains écoulements, afin de pouvoir mieux
cibler les objectifs des recherches fondamentales et expérimentales en
mécanique des fluides.
Du point de vue de la RV, l'intérêt de travailler sur ce type de système
est principalement de proposer des solutions nouvelles en termes d'architecture
logicielle et de gestion de scènes complexes. Mais ces solutions ne peuvent
être pensées de facon pertinente sans l'interaction avec les chercheurs
en mécanique des fluides, puisqu'il convient de ne pas dénaturer les
phénomènes à explorer. Dans ce contexte et dans l'état actuel de
l'avancement de notre réflexion, deux problématiques de recherche
se dégagent à moyen et long termes.
Il s'agit tout d'abord de la mise en évidence des structures
cohérentes. En effet, puisqu'il n'existe pas de définition précise
de ce qui constitue une structure cohérente, et donc pas de critère
universel de détection, les chercheurs en mécanique des fluides sont
amenés à choisir parmi un arsenal de procédures d'identification - telles
que l'analyse en ondelettes, la décomposition orthogonale, l'échantillonnage
conditionné pour n'en citer que quelques-unes - celle qui leur paraît la mieux
adaptée au problème en question (contrôle de l'écoulement, interaction
fluide-structure). Une fois les caractéristiques essentielles de
l'écoulement isolées, ils pourront alors chercher à prédire, voire à
contrôler, leur évolution. De manière générale, l'application d'une
procédure de détection accompagnée ou non d'une focalisation sur une
région particulière de l'écoulement consiste à appliquer une succession
de filtres au signal. L'efficacité et la rapidité de la procédure de
filtrage dépendent fortement des contraintes de temps et de mémoire
induites par la configuration matérielle de la plate-forme et les divers
montages informatiques réalisés. Notons que le problème de structuration
des données qui apparaît ici s'inscrit dans un contexte plus large que la
simple expertise physique, puisqu'il concerne également le stockage, la
transmission et l'affichage des données.
En second lieu, il s'agit de la comparaison qualitative entre les modèles
expérimentaux et numériques (cf. bouclage entre réel et virtuel). En
ce qui concerne cette seconde problématique, rappelons que l'ensemble des
résultats tant numériques qu'expérimentaux se présente sous la forme de
grilles avec des valeurs aux
nœuds. Une confrontation quantitative pas à
pas entre valeurs expérimentales et résultats numériques n'a pas de sens
dans le cas d'un problème instationnaire fortement non-linéaire et donc non
reproductible. En revanche, une comparaison qualitative directe 3d et adaptative, de
l'évolution spatio-temporelle des structures mesurées et simulées, pourrait
se révéler un puissant outil de validation. Cependant, les métrologies
existantes ne permettent pas d'envisager l'accès à une information
tridimensionnelle complète à une cadence compatible avec les échelles de
temps caractéristiques de la plupart des écoulements. Il faudra donc étudier
l'insertion des données expérimentales partielles au sein de la visualisation
des champs obtenus par simulation numérique.
AXE ``Exploration immersive et analyse de données textuelles et factuelles appliquées au génome''R.~Gherbi, D.~Béroule, J.~Hérisson, P.~Paroubek, W.~Turner
La génomique est une science récente et en pleine expansion. On dispose
actuellement de la séquence intégrale de plusieurs centaines de génomes.
Par ailleurs, il existe de vastes espaces informationnels sur le réseau
mondial qui contiennent à la fois d'immenses banques de données factuelles
(GenBank, SwissProt, etc.) et des millions de publications biomédicales
(PubMed, MEDLINE, NIH, etc.). La mission difficile consiste à décrypter,
en lien avec les biologistes, les données génomiques (identifier les
structures et les fonctions), car les banques sont de très grandes
tailles, hétérogènes, et dispersées. De plus, les interactions entre objets
biologiques sont mises en valeur plutôt dans les données textuelles (articles
scientifiques écrits en langue naturelle avec un vocabulaire spécialisé).
Cette expansion de la génomique, mais aussi le développement ces dernières
années des expérimentations produisant des données du transcriptome, sont
en train de bouleverser complètement la manière de faire de la biologie,
mais aussi l'impact et les débouchés applicatifs en thérapie, en
pharmaceutique, en agriculture, et plus généralement dans les secteurs
industriels des biotechnologies. Ils impliquent aussi la mise en place
de puissants outils informatiques, qui doivent rester conviviaux,
afin de traiter cet énorme flux mais aussi de maîtriser la complexité
des informations.
Dans ce contexte, les travaux menés dans cet axe de VENISE visent la mise
en œuvre et l'exploitation des potentialités offertes par la RV pour permettre
une exploration conviviale et efficace de ces données. En effet, nous pensons
qu'une approche intégrée est nécessaire, mettant en relation les outils
de visualisation interactive et d'extraction de connaissances à partir de textes.
On remarque souvent que ces données sont distribuées sur plusieurs sites
avec très peu de passerelles transparentes entre eux. Il faut donc les rendre
partageables et aisément accessibles aux dizaines de milliers d'utilisateurs
potentiels. Nous voyons à cette intégration un double intérêt : d'une
part la systématisation de la création de liens entre données factuelles et
données textuelles augmenterait continuellement les connaissances sur
les propriétés, les fonctions et les structures biologiques décrites
dans les banques factuelles ; d'autre part et symétriquement, puisque
ces liens influencent la compréhension des séquences identifiées, leur
qualité doit être contrôlée, voire débattue de manière
collaborative (in situ ou à distance) dans des situations d'interprétations
variées. Ce double intérêt peut être considéré comme
un enjeu clé de la bio-informatique documentaire, en complément à
d'autres axes de recherche de ce domaine scientifique.
Dans un premier temps, nous nous appuyons en particulier sur les
travaux menés dans les projets de veille technologique sur la
microbiologie et la résistance aux antibiotiques (contrat avec
le département SDV du CNRS, l'INIST-CNRS et l'Institut Gustave
Roussy (IGR) Villejuif) et dans l'action bioinformatique
AMTEFAG animés au LIMSI par W.~Turner et P. Paroubek,
ainsi que ceux de la plate-forme GenoMEDIA (Modélisation et
Exploration 3D Interactive pour l'Analyse des génomes) développée
sous la responsabilité de R.~Gherbi< au sein du groupe ``Geste
et Image''. Le but recherché est de permettre à un biologiste
de pouvoir interroger et naviguer entre des données factuelles (les
représentations graphiques des séquences génomiques et leurs annotations)
et des données textuelles (terminologies et connaissances extraites
de résumés de publications scientifiques). Il s'agit par exemple de
construire et d'associer des familles de gènes par le développement
d'outils intégrés d'analyse des séquences et d'analyse textuelle de
résumés bibliographiques concernant ces familles, cela dans le contexte
de la base CancerGene (IGR) et de l'Atlas de cytogénétique. Les outils
d'interaction 3d (voir plate-forme EVI3d ) conçus et développés
au bénéfice de l'action transversale VENISE seront précieux pour
la mise en place rapide d'expérimentations avec des utilisateurs, de
sorte à affiner et évaluer nos choix techniques. Dans l'avenir, nous
envisageons la systématisation de la création de liens entre données
factuelles et données textuelles, avec l'exploration virtuelle comme ligne
conductrice.
AXE ``Interactions coopératives in situ pour la radiologie
médicale'' A.~Osorio, J.~Atif, S.~Neuenschwander*,
L.~Ollivier*, X.~Ripoche, V.~Servois**
* Institut Curie (Paris)~; ** Institut Curie et doctorant LIMSI-CNRS.
L'objectif de ce projet de recherche est la conception, la mise en
oeuvre
et l'implantation sur site d'un système informatique de couplage entre
l'imagerie radiologique, la RV et des actes médicaux chirurgicaux ou
radiothérapiques.
Au cours de ces dernières années, l'imagerie radiologique a connu un essor
considérable : de nouveaux types de scanner et de nouvelles unités d'IRM
permettent d'obtenir des images de plus en plus précises mais avec un coût
informatique de plus en plus important, notamment en taille mémoire. Les images
radiologiques sont devenues un outil clinique essentiel en diagnostic mais force
est de constater que dans les applications cliniques leur utilisation est presque
toujours effectuée à partir de planches photographiques. Cette situation est
contradictoire avec les développements en imagerie permettant la détection
de lésions de plus en plus petites et pour lesquelles le besoin de précision
est très important.
Plusieurs centres hospitaliers disposent sur site d'un ou plusieurs systèmes
d'imagerie médicale (IRM, scanner, échographes) et d'une ou plusieurs unités
interventionnelles : chirurgie, radiothérapie, radiologie interventionnelle, etc.
Ces systèmes sont très souvent interconnectés par un réseau informatique.
Néanmoins, très peu d'informatique avancée est aujourd'hui implantée dans
les centres médicaux.
Dans ce projet nous envisageons la réalisation d'un système capable d'assurer
le couplage informatique, en temps réel, entre les unités d'imagerie (IRM,
scanner) et les unités de traitement via un dispositif de RV.
Dans une première phase, la radiothérapie et la chirurgie interventionnelle
seront les deux applications canoniques.
Le système proposé comporte les sous-systèmes suivants :
Dans une première phase, ce système doit constituer un outil très précis
d'aide au centrage en radiothérapie~; il pourra aider le praticien à la
localisation, à partir de la forme extérieure du corps humain, des lésions
à traiter. Un modèle probatoire est en cours de développement sur machine
SGI de type Octane. Les premières expériences seront effectuées en étroite
collaboration avec l'Institut Curie.
Pour ce faire, le LIMSI a donc conçu et développé un système informatique
qui assure la reconstruction 3d et la mesure du volume d'organes et de lésions. Ce système fonctionne en ligne et est
capable de lire des examens DICOM. Ce logiciel est opérationnel sur PC et
partiellement, sous Unix. Rédigé en langage C/C++, il va pouvoir être
interfacé à la plate-forme EVI3d destinée à gérer les dispositifs
de RV de l'action VENISE. Des recherches en interaction 3d permettront d'adapter au
contexte immersif les outils de dialogue nécessaires à cette application.
A terme, le couplage de notre système de radiologie 3d avec un dispositif
de RV vise la mise au point d'un environnement virtuel collaboratif totalement
nouveau. Cet environnement permettra à des praticiens de divers compétences
(médecins, radiologues, chirurgiens...) de préparer ensemble, sur des
données 3d particulièrement précises, des actes médicaux lourds
à caractère chirurgical ou radiothérapique. En outre, plusieurs autres
applications sont possibles, comme par exemple l'enseignement d'actes
thérapeutiques aux étudiants de ces disciplines, ou encore pour la formation
continue des praticiens.
AXE ``Interaction multimodale pour une CAO immersive'' P.~Bourdot, Y.~Bellik,L.~Bolot, B.~Bossard, A.~Braffort, J.~Mariani, D.~Touraine, J.M.~Vézien
En partant de l'expérience issue du projet MIX3D (Multimodal Interaction in a X environment
with a 3D virtual space) qui se développa de 1994 à 1996 au sein
du LIMSI, l'objectif est d'élaborer un modèle d'interface immersive
et multimodale, générique à diverses configurations de dispositifs
de RV, qui permette une coopération fine avec les fonctionnalités et
les structures de données avancées d'un système de CAO existant.
L'interaction multimodale en entrée (ou fusion multimodale), est un domaine
relativement bien maîtrisé pour bon nombre d'applications. En
revanche, dans le contexte des applications 3d, assez peu de travaux en
matière d'interfaces multimodales ont abouti à des prototypes
pré-industriels. D'un autre côté, l'interaction immersive est
susceptible de faire des systèmes CAO de véritables instruments de
simulation 3d temps réel pour la conception d'objets. Au demeurant, bon
nombre d'interfaces immersives sont enfermées dans une approche
méthodologique qui consiste à les concevoir comme une simple extension
3d de nos interfaces traditionnelles (cf. claviers virtuels, menus, boutons
et autres widgets 3d). Dans ce domaine, l'approche du LIMSI est
fondamentalement de penser que la plupart de ces artifices, qui en
l'occurrence polluent souvent l'espace de travail 3d, pourraient
être supprimés. L'un des objectifs de cet axe de recherche de l'action
transversale VENISE vise donc à mettre au point des solutions robustes
pour une gestion multimodale des interactions 3d, et ce, en relation avec
des systèmes avancés de reconnaissance ou de traitement des modalités
sensori-motrices.
Les solutions étudiées dans le cadre de cette problématique portent
tout d'abord sur la conception et l'évaluation d'une architecture
distribuée, de type événementielle, susceptible de gérer les
phénomènes de latence introduits par lesdits systèmes avancés de
certaines de ces modalités (parole, geste). Cela est historiquement
la première fonction de l'EVserveur, un gestionnaire distribué
d'événements et de périphériques destiné à faciliter le
développement d'applications immersives (voir activités de recherche
du Thème 1 du groupe ``Geste et Image''). Ensuite, pour qu'un
signal reconnu ou traité soit correctement interprété, il convient
non seulement que le module chargé de l'interprétation possède une
modélisation de la partie du noyau fonctionnel qui lui incombe, mais
il faut de plus que cette couche ait un accès aux objets de la base
de données active sur l'application. Typiquement, l'interprétation
complète de gestes d'interaction 3d suppose de déterminer le ou les
objets en relation avec le geste.
Dans le contexte d'une application de CAO immersive dont les ressources
calculatoires sont distribuées, nous nous proposons donc d'étudier en
particulier, comment apporter aux interpréteurs l'information
géométrique requise, sans imposer aux ressources de calcul de
chaque modalité la gestion complète d'un miroir de la base de
données 3d. Par ailleurs, plusieurs autres problèmes seront abordés comme
par exemple, la prise en compte de la variabilité des gestes à reconnaître
du fait de la taille et de la distance aux objets, ou de la densité de la
scène. En traitement de la parole, l'enjeu est de prouver que les interactions
de type menu peuvent être définitivement supplantées par des commandes
vocales, d'autant que les applications CAO se prêtent assez bien au
développement de systèmes multi-locuteurs.
Mais cet axe de VENISE va aussi s'intéresser à la gestion de la
multimodalité en sortie. Cette problématique vise à doter le système
interactif de mécanismes automatiques (voire de capacités intelligentes) qui
lui permettent de sélectionner de manière dynamique et en fonction de divers
critères (scène, plate-forme matérielle, utilisateur,...), une forme
de présentation pertinente et adaptée pour communiquer une information à
l'utilisateur.
Or, dans les systèmes interactifs actuels, on constate que toutes les
informations présentées sont prédéterminées dans leurs modalités de
sortie. Ainsi, pour attirer l'attention de l'utilisateur sur un objet particulier
d'une scène 3d, le développeur de l'application va par exemple décider,
une fois pour toutes, d'attribuer une certaine couleur à cet objet, ou de
lui affecter un effet de clignotement. Cependant, pour que l'interaction
soit efficace lors d'une simulation ou d'une exploration immersive
d'informations complexes, on se doit de prendre en compte à la fois le
contexte de l'objet (couleurs des objets environnants...) et les
paramètres d'observation de la scène virtuelle (direction du
regard...).
Nos recherches sur la multimodalité en sortie s'orientent donc vers l'étude
et la conception d'architectures de systèmes interactifs capables de supporter
des modèles d'interaction dynamiques et adaptatifs. Les méthodes de conception
et de spécification actuelles de ces systèmes sont en effet inadaptées à la
résolution d'un tel problème car elles ne prennent en compte que la
spécification des formes de présentation et négligent complètement
la modélisation des contenus sémantiques. Il devient dès lors nécessaire
d'avoir une réflexion en profondeur sur le processus de conception des
systèmes interactifs ainsi que sur la définition de nouveaux formalismes
de spécification capables de supporter ce type de multimodalité.
De tels formalismes permettront de mettre en place des mécanismes de
renforcement ou au contraire de substitution de modalités (transmodalité)
en fonction du contexte d'utilisation. Ainsi, par exemple, le système
interactif pourra décider de renforcer un retour d'effort par certaines
manifestations visuelles ou alors, en détectant l'absence ou la défaillance
d'un périphérique haptique, il pourra remplacer un feedback sensori-moteur
par une combinaison d'autres modalités.
Pour conclure, notons que l'action transversale VENISE est d'ores et déjà
impliquée dans plusieurs collaborations de recherche, tandis que des partenariats
industriels et institutionnels sont en cours de développement.
Au niveau du campus d'Orsay, outre les collaborations liées à la mécanique
des fluides et à la bio-informatique, une coopération spécifique s'engage
actuellement avec l'IDRIS. Ce projet vise à faire l'étude de faisabilité
d'une boucle ``Super calculateur, Calculateur graphique, Utilisateur'' susceptible
de gérer, via un réseau haut débit, des simulations scientifiques temps-réel
qui seraient paramétrées et analysées au travers d'interactions sensorielles
immersives.
A l'échelle nationale, nous collaborons avec une vingtaine de partenaires
académiques et industriels au projet PERF-RV (PlatE-foRme Française de
Réalité Virtuelle, bureau d'étude du futur). Ce projet, labellisé
plate-forme RNTL par le Ministère de la Recherche en 2000, contractualisé
pour un an en février 2001, vient de voir son renouvellement accepté pour deux
ans. Dans le cadre de cette collaboration, le groupe ``Geste et Image'' du
département CHM est en particulier responsable de l'action SP2.A2 qui vise à
réaliser le prototype pré-industriel d'un gestionnaire distribué de
périphériques de RV (capteurs de mouvements, gants numériques...) et de
modules de reconnaissances (parole, geste...). L'une des finalités de
l'EVserveur est de fournir avec de très faibles latences toutes les
informations nécessaires au développement de modules de gestion multimodale des
interactions, moteurs interactifs incontournables si l'on veut dépasser les
contraintes ergonomiques des dispositifs actuels de RV.
Depuis début 2002, nous sommes aussi impliqués dans l'action spécifique
``Réalité Virtuelle et Cognition'' du département STIC du CNRS. Concrètement,
au sein d'un premier réseau constitué de quatre autres équipes de recherche
(équipe ``Réalité Virtuelle et Augmentée'' de l'Ecole des Mines de Paris,
UMR ``Mouvement et Perception'' de Marseille, équipe SIAMES-IRISA de Rennes,
LPPA du Collège de France), cette action spécifique vise à inciter le lancement
d'une production scientifique interdisciplinaire autour de trois axes de travail~:
Au niveau international plusieurs visites ont eu lieu auprès de l'Université
de l'Illinois à Urbana Champaign. Une réflexion est en cours pour engager
une collaboration sur le thème du travail coopératif à travers des
réseaux à large bande qui, avec l'Image et le Génie des Procédés,
est au coeur de l'accord-cadre de coopération entre le CNRS
et cette Université.
Composition du comité de suivi~:
P.~Bourdot (co-responsable de VENISE),
V.~Bhoyroo (Gestionnaire),
A.~Choisier (Resp. hygiène et sécurité),
P.~Le Quéré (Directeur du LIMSI),
D.~Lerin (Resp. infrastructures),
J.~Mariani (co-responsable de VENISE),
B.~Mérienne (Resp. des moyens informatiques),
S.~Pageau-Maurice (Resp. communication),
J.~Raguideau (Administratrice),
G.~Sabah (Dir. Adjoint du LIMSI),
D.~Teil (co-secrétaire scientifique),
J.-M.~Vézien (co-secrétaire scientifique).
Composition du comité scientifique
Membres ès qualités~:
P.~Bourdot, P.~Le Quéré, J.~Mariani,
G.~Sabah, D.~Teil, J.-M.~Vézien.
Représentants thématiques~:
C.~d'Alessandro~(PS/CHM),
Y.~Bellik~(AMI/CHM),
L.~Bolot~(GI/CHM),
M.~Denis~(CH/CHM),
F.~Gaunet~(CH/CHM),
R.~Gherbi~(GI/CHM),
M.~Jardino~(LIR/CHM),
F.~Lusseyran~(DFT/ME),
A.~Osorio~(PS/CHM),
P.~Paroubek~(TLP/CHM),
B.~Podvin~(DFT/ME),
M.~Pons~(TSF/ME),
C.~Tenaud~(DFT/ME),
W.~Turner~(AMI/CHM).
Membres externes au laboratoire~: en cours de désignation.