Groupe ARCHITECTURES ET MODÈLES POUR L'INTERACTION
Exemples d'activités de recherche du groupe
INTRODUCTION
Le groupe de recherche Architectures et Modèles
pour l'Interaction (AMI) du département
Communication Homme-Machine (CHM) du LIMSI-CNRS a été créé
en janvier 2001. Ce groupe a pour objet d'étude
l'interaction pour elle-même, dans les systèmes
d'information distribués. Cette problématique apparaît
aujourd'hui comme centrale pour la communication médiatisée
par ordinateur. Par la provenance de ses membres, ainsi que
dans les thèmes abordés, le groupe AMI affiche une volonté de
pluridisciplinarité autour d'un même objet. Notre démarche se
veut à la fois :
- Conceptuelle, en proposant des analyses et des modèles de l'interaction dans les systèmes d'information médiatisés,
- Finalisée, en proposant des architectures de systèmes informatique effectives pour le support de l'interaction médiatisée.
- Appliquée, par la mise en oeuvre des modèles et des
architectures que nous développons dans le domaine de l'assistance
à l'interaction : aide au handicap, aide à l'apprentissage de
service, aide aux collectifs communicants etc.
Depuis plusieurs années, le département CHM du LIMSI-CNRS a eu
une politique visant à développer les contacts entre les
disciplines au sein du laboratoire, ainsi que les contacts
entre les thèmes de recherches. Il s'agit de
mettre en présence des spécialistes, confirmés
dans leur discipline, qui apportent le point de vue de leur
domaine sur les objets d'étude de la CHM. Au cours des deux
dernières années, cette démarche a permis de mener plusieurs
collaborations entre les groupes de recherche du LIMSI, en
particulier au travers des Actions Incitatives (AI) internes
(AI « Pratiques Collectives Distribuées », Turner-Sansonnet,
AI « AMICAL » Martin-Sansonnet, et des Actions Transversales
(par exemple, l'AT « Plateforme multimodale » à laquelle ont
participé plusieurs groupes dont L&C et IMM qui ont été
particulièrement actifs ou l'AT « CORVAL » sous la responsabilité
de P. Paroubek) ainsi qu'au travers d'actions collaboratives
externes (Projet UE-LTR MagicLounge). C'est à ces occasions qu'on
a vu émerger un objet d'étude nouveau mais de plus en plus
présent dans les systèmes d'information distribuée et de
communication actuels : la problématique de l'interaction médiatisée,
problématique qui n'est pas uni-dimensionnelle mais qui concerne
aussi bien les aspects langagiers, cognitifs, informatiques que la
Socio-économie de la communication. Ainsi, lors de la restructuration
en 2000, il est apparu naturel de créer un nouveau groupe de recherche
à partir des composantes des groupes Langage et Cognition, Interaction
et Multi-Modalités et de la cellule « Socio-économie de la Communication »
formée récemment par Claude Henry et W.A. Turner. Ces trois composantes
forment aujourd'hui les trois grands thèmes de recherche du groupe AMI :
- Interaction Multimodale
- Pratiques Collectives Distribuées
- Systèmes Multi-agents
C'est à travers ces thèmes que le groupe AMI aborde la problématique de l'interaction médiatisée, telle qu'elle apparaît fortement renouvelée aujourd'hui. En effet, ce qui caractérise les nouveaux systèmes d'information distribuée et de communication c'est que la problématique classique de l'interaction homme-machine où un utilisateur (souvent un spécialiste en informatique) interagit avec un système (essentiellement une application logicielle disponible sur sa station de travail) est en train de s'élargir sur plusieurs plans qui dépassent le cadre de l'informatique conventionnelle : 1) l'utilisateur n'est plus un spécialiste informatique, 2) les systèmes informatiques deviennent des systèmes de communication collective, 3) la communication fait un large usage de représentations intermédiaires ou médiateurs.
D'abord, on ne peut plus considérer que les personnes qui abordent les systèmes d'information distribuée et de communication soient efficaces au sens informatique du terme. Nous donnerons trois exemples : 1) les personnes qui interagissent via un portail Internet avec un service en ligne sont des utilisateurs-citoyens peu au fait des techniques et des outils informatiques 2) les systèmes de communication pourraient apporter des éléments de confort non négligeables aux handicapés si les modalités d'interaction étaient mieux adaptées à leurs besoins 3) la dissémination annoncée des systèmes d'information distribuée et de communication (informatique mobile, produits hybrides - CHIPS - ...) vont les faire pénétrer dans les situations quotidiennes au prix d'une interaction souvent sous-dimensionnée dans sa bande passante, ses modalités, mais aussi au niveau de la charge cognitive. Porter l'interaction dans ces domaines demande au moins deux choses : 1) il faut être capable de modifier les modalités de communication et de les adapter aux situations rencontrées ; cela renouvelle la problématique classique de la multimodalité et la pose dans l'avenir en termes de transmodalité 2) il faut que lui soit profondément intégrée une fonction d'assistance ; cette fonctionnalité fait un usage beaucoup plus important de la langue naturelle que ce n'était le cas dans les systèmes précédents.
La deuxième caractéristique des systèmes d'information actuels est qu'ils deviennent des médias de communication entre des collectifs humains qui se rassemblent autour d'un même centre d'intérêt : cela concerne classiquement le travail collaboratif (TCAO) et l'enseignement (EIAH) mais aussi de plus en plus, et c'est pourquoi nous mettons l'accent dessus, la culture (associations érudites, clubs de supporteurs...) ou les préoccupations citoyennes (associations de défense d'idées, d'intérêts corporatistes, organisations non gouvernementales...). Au delà des outils informatiques qui permettent cette communication, se posent des problèmes difficiles sur l'étude des pratiques collectives effectives et de la définition d'outils d'analyse des comportements collectifs puis de leur apport éventuel au fonctionnement de tels groupes médiatisés. Là encore, se pose la question de la nature même de l'assistance qui pourrait être apportée, aux acteurs ou aux analystes, une représentation construite des comportements et des objets en train de se construire dans le processus même de l'interaction.
Alors que les outils informatiques classiques sont conçus comme des objets essentiellement fermés sur eux-mêmes, les nouveaux outils deviennent d'abord des services ouverts à des clients. Il en résulte que la partie qui concerne l'interaction avec des utilisateurs (humains) ou d'autres services (logiciels) devient prépondérante, si ce n'est sur le plan technique du moins pour le succès de leur diffusion. C'est pourquoi la troisième caractéristique des systèmes d'information distribués actuels est la généralisation de la médiatisation, au sens informatique du mot, c'est-à-dire l'utilisation de plus en plus fréquente de représentations formelles intermédiaires entre les entités qui communiquent et interagissent. On voit donc se développer les logiciels de médiation (« middleware », agentification, ontologies, langages à balises, méta-données...) dont le rôle principal est de servir de support d'implémentation à l'interaction avec d'autres entités, qui dans l'environnement ouvert que constituent les systèmes d'information distribuée, sont le plus souvent sémantiquement hétérogènes. Nous pensons que dans l'avenir, ces représentations intermédiaires joueront le rôle principal et qu'elles tendront de plus en plus à homogénéiser les rôles (par exemple entre agents humains et agents logiciels). Il nous paraît donc crucial de participer activement à l'étude et au développement de ces modèles représentationnels médiateurs et d'étudier comment ils peuvent servir à mettre en oeuvre les fonctions d'assistance que le public attend.
Perspectives de recherche du groupe AMI
Après une année de fonctionnement, le groupe AMI a largement renforcé les liens entre ses trois composantes à travers la continuation des actions communes en cours mais aussi en participant en commun à de nouvelles actions :
- internes : comme par exemple l'Action Sur Programme de trois ans du LIMSI « Navigation Interactive dans les Documents » (ASP NID) avec le groupe LIR, où les trois thèmes de AMI sont représentés, ou encore l'action VENISE du LIMSI à laquelle le groupe AMI participe fortement.
- externes : comme par exemple des GDR (I3, Sémantique et Modélisation...), des Actions Spécifiques du CNRS (Action PCD, Action Web Sémantique...), des actions internationales (Action PCD de la NSF-UNESCO-CNRS, Projet IST-NICE...).
Cependant, nous voulons aller plus loin et préparer un véritable programme de recherche propre au groupe AMI. Ce programme que nous souhaitons mettre en oeuvre dans le prochain quadriennal, portera sur « l'étude et le développement d'outils à l'assistance dans les collectifs médiatisés ». L'idée est de mettre en correspondance, en apposition, (et non pas l'un au service de l'autre) deux domaines de recherche interdisciplinaires :
- la socio-économie de la communication, cela à travers un domaine particulier qui est celui des collectifs médiatisés,
- la communication Humain/Machine, cela à travers un domaine particulier qui est
celui des outils d'assistance à l'interaction.
Au cours de ses travaux récents sur les PCD, le groupe AMI a caractérisé la notion de « collectif médiatisé » qui émerge aujourd'hui comme une problématique fondamentale de l'informatique sociale. Cette notion dépasse la notion classique de TCAO sur plusieurs aspects : les collectifs se caractérisent essentiellement par le fait que les (individus) participants ne sont plus des spécialistes formés et adaptés à une tâche donnée mais au contraire des gens ordinaires qui adhèrent au collectif pour une raison qui leur est propre et pour un temps donné. De plus, un système de TCAO est généralement constitué de deux phases : une phase d'implémentation de la tâche (définie a priori) suivie d'une phase d'exploitation de cette tâche ; à l'opposé, un collectif n'a qu'une phase de fonctionnement dont l'objectif est précisément de produire de l'organisation : c'est un processus. Des exemples de collectifs médiatisés sont les « alliances » qui groupent le secteur associatif et militant, les collectifs d'apprenants qui font évoluer la problématique classique de l'EIAH, un élève-une station, vers la notion de classe virtuelle, les collaboratoires qui permettent aux scientifiques de se rassembler activement autour d'un thème de recherche commune, etc.
Alors que les outils déjà développés pour le TCAO sont complètement
réutilisables pour les collectifs, la spécificité des collectifs met
en avant une problématique à la fois nouvelle et primordiale : celle
de l'assistance qui se révèle être une fonctionnalité cruciale
en présence d'utilisateurs ordinaires pris dans un environnement qu'ils
ne connaissent pas a priori et qui est en permanente évolution.
Ainsi, nous avons pu définir trois grandes fonctions d'assistance :
- Accessibilité : il s'agit de rendre possible l'accès au collectif
pour des individus qui présentent des « différences modales » s'avérant être
un handicap permanent ou passager. Ce sont des différences de nature matérielle
(par exemple, lors de l'utilisation de systèmes portables : téléphones WAP,
CHIPS, Palm Assistants...), de nature physique (problèmes de perception
visuelle, auditive..., de maniement, etc.) ou de nature cognitive
(distinction enfant-adulte, déficiences comportementales, sociales ou
communicatives comme dans le cas de l'autisme (projet FAXCOM développé
en coopération avec le LINC IUT de Montreuil), ou encore divergences
culturelles : sémiotique, langues, etc.). L'assistance passe alors par
l'utilisation de la multimodalité et surtout de la transmodalité pour
combler ou contourner ces différences.
- Opérabilité : il s'agit de permettre aux individus d'interagir dans
le collectif et pour cela d'appréhender correctement sa structure et
son fonctionnement soit à leur arrivée soit lorsque le collectif
évolue et se restructure. L'assistance passe alors par la mise en place de
deux sortes d'agents : 1) les agents assistants d'interface réactifs (i.e.
à fonctionnement de type interactif) sont capables de répondre à des questions
de « bon sens », exprimées le plus souvent en langue naturelle par les
utilisateurs en difficulté ; 2) les agents assistants d'interface proactifs
(i.e. à fonctionnement de type processus) sont capables de surveiller, en
temps réel, les interactions dans le collectif (interactions protocolarisées
ou de nature langagière : mél, chat...) et d'intervenir le cas
échéant pour avertir, guider, etc.
- Réflexivité : il s'agit de rendre le collectif visible à lui-même, c'est-à-dire de fournir des outils qui permettent d'analyser les processus qui sont en cours dans le fonctionnement du collectif, puis de les présenter soit à l'instance qui gère le collectif soit aux membres du collectif qui peuvent ainsi « voir ce qui est en train de se passer ». Ces outils portent sur l'analyse de la dynamique des flux d'interaction pour détecter des comportements effectifs, sur l'analyse de la proximité sémantique des documents pour détecter des structures thématiques et enfin sur la génération automatique de cartes, de parcours et d'usages qui sont ensuite proposés aux utilisateurs.
L'originalité de ce programme de recherche repose sur deux faits essentiels :
1. D'une part, il nécessite l'intégration forte de deux disciplines (la sociologie et l'informatique) qui ne sont pas au service l'une de l'autre mais qui s'apportent mutuellement de nouveaux concepts et de nouvelles méthodes. Par exemple, la notion de « personne ordinaire », issue des collectifs médiatisés, décale la problématique de l'assistance informatique sur la structure et le fonctionnement, des algorithmes d'intelligence artificielle classiques vers l'analyse des questions de bon sens et leur « mapping » vers des requêtes formelles (avec un problème de traitement de la référence très difficile) ; Inversement, la possibilité de médiatiser des gens ordinaires ou de rendre accessible des structures sociales (école, associations, clubs...) à des gens « modalement différents » fait émerger de nouveaux modèles sociaux et de nouvelles pratiques distribuées.
2. D'autre part, nous possédons déjà au sein du groupe AMI, une grande partie des compétences nécessaires à la mise en <#46#>
THÈME 1 : INTERACTION MULTIMODALE
Les activités de recherche de ce thème concernent l'étude, l'intégration et l'utilisation, dans les systèmes informatiques, des différents moyens d'interaction possibles non seulement entre un humain et un ordinateur mais également entre plusieurs humains par l'intermédiaire de systèmes répartis médiatisés. Les objectifs de cette problématique sont essentiellement orientés vers l'étude des modèles interactifs induits par les nouveaux moyens d'interactions actuellement proposés sur le marché ou en cours de développement dans les laboratoires de recherche tels que les systèmes de traitement de la parole, les systèmes interactifs gestuels, les systèmes de capture de contexte (caméra, micro) et les dispositifs de communication spécifiques dans le cadre du handicap visuel (terminaux Braille).
Perpectives du thème Interaction Multimodale
Nos perspectives de recherches s'orientent vers l'étude et la conception de
modèles d'interaction dynamiques aussi bien pour la communication
homme-machine que pour la communication homme-homme médiatisée par la machine.
Ce dynamisme a pour objectif une meilleure accessibilité du système
interactif (SI) à diverses catégories hétérogènes d'utilisateurs. Ces
études seront menées simultanément sous deux angles différents mais
complémentaires : l'utilisateur et le système.
Du point de vue de l'utilisateur, les perspectives de recherche concernant
l'analyse du comportement multimodal de l'utilisateur s'orienteront notamment
vers l'utilisation des mesures comportementales et des outils correspondants
pour la spécification de coopérations entre modalité du côté de l'utilisateur
mais également ou du côté de l'ordinateur (par exemple agent conversationnel).
En ce qui concerne le système, le dynamisme du SI doit se traduire par une adaptation automatique de celui-ci à trois composantes principales de l'interaction : les capacités matérielles, les capacités physiques et les capacités cognitives de l'individu. Cette adaptation dynamique du SI nécessite de pouvoir traduire automatiquement une information issue d'une ou plusieurs modalités vers une ou plusieurs autres modalités différentes. Ce problème de conversion entre modalités que nous désignons par le terme de transmodalité se décompose en trois sous-problèmes :
La transmodalité matérielle : cette transmodalité vise à produire des SI capables de s'adapter à différentes plate-formes matérielles (environnement virtuel, station de travail, téléphone portable, etc.) et à mettre en place des processus de substitution de modalités en fonction des périphériques matériels dont dispose l'utilisateur.
La transmodalité physique : l'objectif ici est d'adapter le SI à différentes catégories d'utilisateurs en fonction de leurs capacités physiques sensori-motrices. Elle recouvre tous les problèmes de conception des SI pour handicapés (aveugles, autistes, sourds, handicapés moteurs, etc.).
La transmodalité cognitive : elle concerne l'étude des problèmes d'adaptation automatique du SI aux capacités mentales et intellectuelles de l'utilisateur (enfant, adulte, personne âgée, débutant, expert, élève, professeur, etc.) en vue de la mise en <#59#>
THÈME 2 : PRATIQUES COLLECTIVES DISTRIBUÉES
Les sciences sociales prennent naturellement place au sein du groupe AMI étant
donnée l'importance des caractères sociaux de toute action de communication,
y compris celle que les humains entreprennent avec les machines. Cependant,
leur présence au sein d'AMI ne signifie aucunement qu'il s'agit de cantonner
les sciences sociales dans un rôle de pourvoyeur de modèles à implémenter en
informatique. Au contraire, l'objectif est de développer un dialogue qui est
maintenant bien engagé depuis une vingtaine d'années dans un champ de
recherches initialement focalisé sur le travail coopératif assisté par
ordinateur (TCAO), mais qui évolue maintenant vers une « socio-informatique »
(social informatics, en anglais).
La « socio-informatique » déplace l'objet d'étude des communications
homme-machine (CHM) vers une meilleure compréhension des processus de
communications homme-homme médiatisées par la machine
(CH2M2). Ce déplacement s'explique pour
différentes raisons. En premier lieu, il vise à tenir pleinement
compte de ce que l'intégration des machines au sein d'un collectif est
conditionnée par des considérations d'ordre social (rapports de force,
distribution inégalitaire de ressources, positions acquises...) et
culturel (comme, par exemple, les dispositifs de coordination, de
légitimation ou d'apprentissage spécifiques à un contexte donné).
La « socio-informatique » se propose de doter des machines en facultés
leur permettant d'évaluer réflexivement la cohérence de leurs
pratiques socio-cognitives par référence aux rapports de pouvoirs dans lesquels
elles sont engagées. Cette orientation de recherche conduit à s'intéresser à
deux grands types de processus : les processus « dialogiques » à l'oeuvre dans des situations socio-culturellement contraintes ;
et l'animation des pratiques collectives distribuées par des documents.
En deuxième lieu, le passage de la CHM à la CH2M2 doit stimuler des innovations en informatique par un travail de précision des fonctions nécessaires au soutien des deux processus qui viennent d'être identifiés. Depuis la création du Groupe AMI en janvier 2001, l'équipe PCD a entrepris deux études qui concernent spécifiquement le processus dialogique et deux études qui concernent l'animation des pratiques collectives par les documents.
Les processus dialogiques
- Dans ce contexte nous lançons une étude des traits sémantiques
présents dans les messages interactionnels en langue naturelle dans un
collectif humain médiatisé. Il s'agit à partir de corpus de messages issus
de sessions interactionnelles d'analyser les phrases pour en extraire un
certain nombre de traits sémantiques particuliers, utiles pour les analyses
de comportement du collectif. Pour ce faire, l'approche syntactico-sémantique
ascendante classique sera remplacée par une approche « dirigée par les
besoins » qui utilise des filtres sémantiques spécifiques, agissant
indépendamment les uns des autres, qui produisent non pas une analyse
sémantique complète des phrases mais seulement des traits jugés pertinents
pour l'apprentissage du comportement effectif (actual behavior) du collectif.
Pour ce faire, il faut à partir d'un outil informatique, être capable de
saisir les messages interactionnels dans un collectif médiatisé expérimental,
procéder à des expériences pour recueillir des corpus de conversations et, en
parallèle, définir les traits sémantiques pertinents dans le cadre de
l'analyse comportementale de collectifs et de proposer un modèle
d'apprentissage de comportement collectif qui utilise ces traits.
- La notion d'indexation iconique établit le lien entre
le thème PCD et les travaux réalisés par Marie-Françoise Castaing visant à
développer un langage iconique suffisamment général pour être facilement
compréhensible par des personnes travaillant dans des contextes différents,
sur des sujets qui leur sont propres. Le langage naturel est source
d'ambiguïté compte tenu de ce que les mots prennent leur sens en vertu de
leur utilisation dans des situations socio-culturelles spécifiques, alors
que le langage iconique semble être un outil puissant pour lever cette
ambiguïté. Les expériences visant à tester cette hypothèse semblent
concluantes ce qui ouvre des perspectives nouvelles pour l'organisation des
processus dialogiques lors de la navigation dans les documents. En effet,
l'objectif à terme est d'utiliser les icônes pour signaler la disponibilité
d'un certain type d'agent dialogique dans les documents. Grâce à ce marquage
iconique, l'utilisateur saura qu'un type spécifique d'aide logicielle est
disponible pour organiser ses déplacements socio-cognitifs.
L'animation des pratiques collectives par les documents
- La notion de production collective de sens a permis de
relier le thème PCD aux recherches visant à faciliter l'accès documentaire
par les gens ordinaires. Le nombre croissant d'activités collectives exploitant
des réseaux numériques s'accompagne d'une circulation importante de documents
électroniques qui est souvent mal maîtrisée, moins pour des raisons
techniques que pour des raisons d'ordre sémantique. Claude Henry et Dominique
Béroule ont mis au centre de leurs travaux sur cette question la notion
de réflexivité : leur objectif est de rendre visible aux personnes participants
aux réseaux numériques leurs divergences et leurs points d'accord dans les
textes qu'ils émettent. Les cartes conceptuelles servant à cette visualisation
sont en développement avec le groupe LIR (Benoît Habert) et des
collaborateurs externes (Eric Gaussier). Ce travail est également très
fortement articulé avec les recherches menées dans l'équipe de Xavier
Briffault qui, elle-aussi, se propose d'étudier des processus réflexifs pour
comprendre les mécanismes de production collective de sens.
Deux autres orientations, plus transversales à la problématique d'une
« socio-informatique », ont été mise en chantier:
- D'une part, le passage de la CHM à la CH2M2 doit contribuer à l'émergence d'un nouveau paradigme d'évaluation de l'entrée
en usage social des systèmes informatiques. La notion d'une
évaluation par les pratiques est utilisée dans ce contexte.
Les infrastructures techniques ne sont pas seulement un facteur
d'amélioration des performances collectives ; elles ne sont pas non plus
responsables à elles seules de nouvelles formes d'interaction sociale. Elles
intègrent des processus collectifs de fabrication du sens et de rapports de
pouvoir et c'est uniquement dans la mesure où cette intégration est perçue
comme pertinente que leur usage pour soutenir les pratiques collectives sera
considéré. Le projet TMI-Workbench dont s'occupent plus particulièrement
W. Turner, F. Lim et M.-J. Pierrat vise à nous mettre en position d'observer
les conditions de cette intégration.
- D'autre part, des travaux sont menés en indexation sémantique dans le
cadre de documents XML (Haïfa Zarg-Ayouna). L'objectif est de proposer des
procédures d'indexation et re-indexation sémantique de documents
semi-structurés comme les documents XML. L'approche proposée consiste à
utiliser des techniques d'Intelligence Artificielle issues des travaux sur
le Raisonnement à Partir de Cas (RàPC), l'Apprentissage Symbolique
Automatique (ASA) et l'Ingénierie de Connaissances (IC). En premier lieu,
il faut définir un langage d'indexation ainsi qu'un formalisme de
représentation des connaissances permettant de décrire des données XML et
d'effectuer les raisonnements sur ces descriptions. On étudie ensuite
précisément l'évaluation et la représentation de similarité dans ce
formalisme pour pouvoir mettre en oeuvre des procédures de RàPC et
d'Apprentissage Symbolique. Celles-ci permettront de rechercher des données
similaires et de construire des généralisations à partir d'exemples et de
contre-exemples. Ces données similaires et ces généralisations seront
utilisées pour la re-indexation et l'affinement progressif de requêtes. Ces
travaux sont coordonnés avec la problématique de l'Action sur Programme du
LIMSI «Navigation Interactive dans les documents ».
Plateformes multi-agents et outils pour le travail collaboratif
Les travaux menés au cours des deux dernières années trouvent leur origine
dans plusieurs projets et travaux de recherche conduits au cours des cinq
dernières années au LIMSI dans le domaine des systèmes multi-agents. Ils se
placent dans la continuité thématique et utilisent les résultats technologiques
de ces travaux (en particulier ceux que mène J.P. Kotowicz), mais
s'inscrivent néanmoins pour l'essentiel en rupture épistémologique avec les
options fondamentales qui avaient été prises jusqu'alors.
Le projet Eureka/ANVAR PVS98, et son successeur, le projet Eureka AgentWorks, avaient pour objectifs de développer une plateforme multi-agents de médiation des communications et d'assistance à la coopération dans un contexte de gestion de projet et de GPAO. Nous faisions alors l'hypothèse qu'une représentation « universaliste » du sens (une ontologie partagée) des communications entre les membres d'un projet de conception était possible, et pouvait être utilisée à des fins de capitalisation des connaissances, de formalisation des compétences, et d'aide à la coopération. Cependant, les évaluations des usages de cette technique, dans le cadre spécifique de l'outillage collecticiel de l'activité de conception coopérative n'ont pas donné les résultats escomptés.
Parallèlement à cela, le projet Esprit LTR MagicLounge, auquel nous participions également, tentait de proposer un outillage d'assistance à la communication pour les groupes d'usagers engagés dans des activités non-professionnelles, avec une approche totalement différente, consistant à structurer, sans les formaliser, les échanges multimodaux entre les partenaires, et à permettre la navigation dans les traces des interactions, afin d'aller vers une mémoire collective. Pour des raisons, différentes, les résultats obtenus dans ce projet n'ont pas non plus donné entière satisfaction sur le plan des usages et de la généralité de l'outil.
Pendant ce temps, Karim Chibout montrait dans son travail de thèse,
à l'aide d'études sur le terrain (en particulier en milieu hospitalier), que
les représentations conceptuelles, tout autant que les lexiques et les modes
d'interactions utilisés par les praticiens étaient très largement déterminées
par les activités dans lesquelles ils étaient engagés, ce qui remettait en
cause le postulat universaliste du sens sur lequel les autres travaux étaient
fondés. Enfin, William Turner et Claude Henry, travaillant depuis dix ans
sur l'analyse et la description de la manière dont les interactions collectives
se nouent, se développent et s'organisent dans des situations médiatisées par
les collections de documents électroniques, créaient le réseau international
DCP (Distributed Collective Pratices) dont l'un des objectifs
principaux est de développer un cadre conceptuel approprié pour les relations
sociales médiatisées par ordinateur. Le projet RNRT « Outiller les
alliances » s'inscrit dans la même mouvance.
Le problème du cadre conceptuel, et du paradigme implicite qui sous-tendait
les travaux menés, au LIMSI comme ailleurs dans le domaine du
CSCW (Computer Supported Collective Work), et de
son adéquation au problème abordé a alors dû être soulevé, les diverses
tentatives pour « sauver » le postulat d'un sens universel formalisable
(ontologies multiples, partielles, locales, diachroniques...) se soldant
toutes par un échec d'usage dans la pratique effective des activités
collaboratives assistées par ordinateur.
Nous avons donc entrepris une analyse approfondie des résultats obtenus, des fondements épistémologiques qui étaient les nôtres, de leurs conséquences, et des critiques et propositions qui avaient pu être faites par des disciplines avec lesquelles nous n'avions jusqu'alors que fort peu d'affinités (parmi lesquelles la psycho-sociologie, la phénoménologie, le constructivisme, la gestalt-théorie, et la perception écologique située). Cette étude, qui a duré plus d'un an, a été poursuivie par les stages de DEA de deux membres du thème, qui ont systématisé nos critiques et propositions sur la base d'études de terrain (éditeur d'ouvrages informatiques, laboratoire de recherche), d'un état de l'art et d'une critique approfondie de l'existant technique et conceptuel, et du développement d'un nouveau cadre conceptuel et d'un outillage technologique adapté.
A la lumière des résultats obtenus, notre position actuelle est de considérer que
le paradigme dans lequel nous nous placions « implicitement » (en fait, celui
de l'intelligence artificielle symbolique, du cognitivisme, et des sciences
physiques « causalistes ») est inapte à produire des outils efficaces dans le
cadre qui est le nôtre, à savoir le développement d'outils collecticiels
pour les activités de conception coopératives humaines en environnement
mouvant, même s'il garde probablement sa validité dans d'autres domaines.
Notre objectif est donc de repenser la coopération augmentée par ordinateur à
la lumière du paradigme proposé par les disciplines mentionnées, afin de
concevoir des outils collecticiels efficaces.
Nous contestons en particulier la boucle classiquement utilisée
Situation -> Analyse ->
Modélisation Représentation ->
Formalisation -> Implémentation ->
Prévision ->
Décision ->
Action pour la remplacer par une boucle
Perception ->
Émergence d'une figure (besoins*activités*environnement,
indissociables) ->
Identifications/aliénations ->
Action ->
Intégration.
Plus précisément, il s'agit d'une part de développer, d'affiner et de diffuser
un nouveau cadre conceptuel, dans lequel s'inscrira ensuite le développement
d'un système de médiation des communications et de gestion de mémoires
collectives. Nous considérons très sérieusement l'hypothèse qu'une définition
formelle a priori du sens est impossible, car il n'est de sens que
contextuel, en relation avec la perception du sujet agissant, et relationnel,
car « émergeant » de l'intersubjectivité mouvante des individus
interagissants. Nous nous efforçons de concevoir l'intermédiation dans une
perspective d'activités collectives : l'architecture que nous étudions
prend la forme d'un outil de support aux pratiques collectives distribuées
dans lequel les activités communicatives sont finement articulées aux
processus coopératifs. Notre approche est donc double : tout d'abord,
justifier la nécessité d'adopter ce postulat pour être en adéquation avec
les faits observés dans les groupes coopératifs, et le replacer dans le
contexte théorique et pratique du travail collaboratif assisté par ordinateur,
et de manière plus générale dans celui de la perception écologique située et
d'une phénoménologie « appliquée » ; ensuite, évaluer les systèmes
informatiques susceptibles de faciliter cette co-construction du sens et son
utilisation dans des activités collectives, et proposer un nouveau type
d'outillage informatique conçu pour désambiguïser, faciliter, structurer,
améliorer, augmenter, et permettre des recherches évoluées dans les échanges
survenant entre les acteurs (humains et informatiques) d'un système
socio-technique coopératif. Il s'agit non plus de représenter le sens dans
le système, mais de représenter les interactions pour permettre la
construction d'un sens par les individus agissants.
Nos travaux sont menés dans une perspective trans-disciplinaire intégrant une approche épistémologique, une approche socio-cognitive et une approche informatique prenant en considération les facteurs humains et sociaux (philosophie, linguistique, ergonomie, sociologie, psychosociologie) à toutes les étapes de la conception. Une approche de terrain est menée dans le cadre du projet MediaWorks (collaboration TF1, INRIA, AgentWorks, EML) par J.P. Martin et E. Jamin, qui étudient l'activité des documentalistes afin de proposer un outil s'insérant dans le processus de production des journaux télévisés.
Un dernier axe de travail comportant lui aussi une analyse fine de l'activité porte sur le développement d'une plate-forme de guidage portative pour aveugles (projet NavWorks). Une collaboration entre X. Briffault (informatique), et F. Gaunet (étude des déplacements des personnes aveugles en milieu urbain), a permis le développement d'un système informatique de guidage verbal portatif et localisé pour piéton handicapé visuel. La validation technique de la plateforme informatique de guidage localisé NavWorks a été réalisée par X. Briffault en collaboration avec M-R Gonzalves (stagiaire post-doc) et S. Baron (Stagiaire ingénieur ENST). De plus, X. Briffault et F. Gaunet ont proposé une méthodologie d'analyse comportementale pour déterminer les spécifications fonctionnelles d'un tel système : une démarche comportant un ensemble de cinq expérimentations dans lesquelles s'insère progressivement l'artefact est proposée. De plus, deux études comportementales, l'une analysant les productions verbales de descriptions d'itinéraires par les personnes déficientes visuelles, l'autre testant l'efficacité des règles de guidage induites ont été conduites avec cette population. Les résultats des expérimentations nous ont permis de réaliser une modélisation informatique des règles de guidage. Ces règles sont en cours de transfert à la société CECIAA (société de distribution de matériel spécialisé pour handicapés visuels), avec laquelle nous avons contracté un accord de partenariat dans le contexte d'un projet ANVAR. Ce projet met en jeu les partenaires industriels nécessaires à la réussite du développement d'un produit : sociétés spécialistes du développement informatique, de bases de données géographiques, de système de localisation, etc.
Par ailleurs, une collaboration est actuellement en cours avec l'équipe multi-agents MICROBES du LIP6 (Jean-Daniel Zucker) dans le cadre d'une thèse en cotutelle qui porte sur l'apprentissage et l'acquisition de connaissances par collaboration dans un environnement de robots mobiles et autonomes. Nous nous intéressons au problème de la construction d'une perception artificielle pour faciliter une tâche d'apprentissage supervisé : le robot doit pouvoir apprendre à identifier la présence d'objets, c'est-à-dire à apprendre comment ancrer dans l'environnement un lexique de mots faisant référence à des objets. Cet apprentissage est fait à partir d'un petit nombre d'exemples composés de données riches en quantité mais de faible qualité, il s'agit d'images provenant de la caméra du robot, avec pour chaque image, les noms d'objets présents. Pour faciliter cet apprentissage, nous cherchons à construire un système perceptif adapté à l'environnement du robot en reformulant plusieurs fois les opérateurs d'abstraction utilisés sur les images pour obtenir des descriptions exploitables.
Agents assistants d'interface
Actuellement, la généralisation des Systèmes d'Information et de Communication
Distribués (SICD) autour de la technologie Internet crée des besoins et pose
des problèmes nouveaux à la CHM, précédemment orientée vers le poste de travail.
En particulier, on voit émerger la notion d'outils médiateurs
permettant à des humains ou des services de communiquer, d'interagir voire de
travailler « en ligne ». C'est dans ce contexte que nous avons été amenés
à définir la notion d'agent dialogique. Un agent dialogique est un
composant logiciel médiateur d'une entité active et effective
(H = humain, ou M = Machine : service, programme, machine-industrielle) dont
le rôle est d'interagir en qualité de représentant pour le SICD. La mise en oeuvre de ce principe fait intervenir trois problématiques principales
:
Ces travaux sont principalement menés actuellement dans le cadre du projet InterViews de Jean-Paul Sansonnet avec deux axes :
- l'étude de la représentation de la structure et surtout du fonctionnement de composants actifs enchâssés dans le Web sémantique (Nicolas Sabouret). Cela consiste à définir les aspects procéduraux des composants, c'est-à-dire les éléments du langage de description des composants qui permettent de décrire leur exécution, un mécanisme de mémorisation de l'exécution passée des composants, un modèle de requêtes de « bon sens »sur le fonctionnement et les actions, un modèle de raisonnement s'appuyant sur le passé du composant pour construire des réponses à ces requêtes. Un langage spécifique a été développé (View Design Language -- VDL, version actuelle 0.5) pour intégrer en un seul formalisme les aspects structurels et fonctionnels des composants actifs. Actuellement, dans le cadre de la nouvelle Action Spécifique CNRS « Web Sémantique » nous étudions une migration de VDL vers XML avec le problème crucial de l'intégration de la partie fonctionnelle du langage à XML.
- l'interprétation de questions au sujet de la structure et du fonctionnement,
exprimées en langue naturelle (Sébastien Gérard, Guillaume Pitel). L'analyse
sémantique de questions bute alors sur le problème de la référence qui
est particulièrement vif dans le cadre particulier du projet InterViews. En
effet, lorsqu'un utilisateur demande de l'aide, par exemple en entrant une
phrase dans la boîte de dialogue du composant actif, c'est qu'il a un problème
d'appréhension de la structure ou du fonctionnement du composant avec lequel
il interagit. Dans ce cas, il existe toujours une « distance cognitive »
importante entre ce que se figure l'utilisateur et les structures effectives
(i.e. l'implémentation) ou l'état physique (i.e. le runtime) du composant. Il
faut alors essayer d'établir un pont afin de transformer la question en une
requête exécutable : nous étudions actuellement deux approches : 1) fondée sur
l'exploration d'arbres d'états avec minimisation de coûts cognitifs 2) fondée
sur un modèle à base de règles de réécriture fonctionnant comme un réseau de
contraintes.
Une approche complémentaire est suivie par Jean-Pierre Fournier dans le cadre
du projet « Enseignement Intelligemment Assisté par des Agents de
l'Algorithmique » (EIA3). Il s'agit d'un système multi-agents qui doit
permettre à des apprenants de découvrir les techniques d'algorithmique
orientées objet, en interagissant avec un logiciel éducatif fortement
interactif et intelligent, qui insiste dynamiquement sur les points que
l'élève souhaite découvrir, consciemment ou pas. L'architecture SMA intervient
au niveau microscopique, chaque objet présenté étant lié à un agent qui gère
son apparence (plus ou moins visible, plus ou moins brillant, etc.), et au
niveau macroscopique, un agent assistant chacun des intervenants, chaque élève
et le pédagogue. L'utilisateur a le choix du langage d'expression des
algorithmes.
Enseignement et diffusion des connaissances
Organisation de colloques
Participation à des comités éditoriaux
Activités ou responsabilités d'enseignement liées à
la Recherche
Participation à des séminaires
Actions de vulgarisation et de valorisation
Responsabilités institutionnelles
Relations scientifiques
Relations Industrielles, Conventions de recherche et contrats
Responsabilités institutionnelles
Relations scientifiques et industrielles
Conventions de recherche et contrats
Y. Bellik, D. Béroule, J-C. Martin, D. Teil
Les aspects de recherche fondamentale sont centrés autour de la multimodalité et des méthodes spécifiques nécessaires à sa mise en
oeuvre aussi bien pour les problèmes d'analyse des modalités et des combinaisons de modalités (multimodalité en entrée) que pour les problèmes de génération multimodales (multimodalité en sortie). Ces deux problématiques couvrent les différents points suivants :
- Etude des concepts de la multimodalité en entrée et en sortie
- Taxonomie des modes et modalités
- Types de coopération multimodale (redondance, équivalence, concurrence, complémentarité, spécialisation...)
- Fusion d'informations (critères, niveaux...)
- Diffusion d'informations (choix des modes et modalités)
- Conversions inter-modales
- Modèles d'architecture des systèmes multimodaux
- Analyse du comportement multimodal
Ce dernier point constitue une étape essentielle dans le processus de développement d'interfaces multimodales « intuitives ». Des outils permettant de faciliter l'annotation et le calcul de mesures du comportement ont ainsi été développés. Ces outils se situent dans le prolongement de techniques manuelles d'annotation du comportement multi- modal, proposées auparavant. Une grammaire d'annotation (sous la forme d'une DTD XML) a été définie. Selon cette grammaire, les annotations comportementales sont composées de plusieurs sections : une première section décrivant les caractéristiques des objets auxquels le sujet fait référence et une section par segment multi -modal (chacune contenant elle-même une sous-section pour chaque modalité). Un programme a été développé afin d'analyser ce type d'annotation et de calculer des mesures comportementales. Ces outils seront appliqués dans deux projets qui ont été acceptés et qui démarreront en 2002 : interface multimodale pour la télévision interactive (projet RNRT) et interaction multi -modale avec des avatars (projet IST-NICE). Ces outils serviront également dans des actions portant sur l'enseignement (ASP NID et projet MICAME avec le laboratoire LINC de Montreuil). L'adaptation de ces métriques de coopération aux systèmes multi-agents est en cours.
Les perspectives de recherches concernant l'analyse du comportement multimodal incluent notamment l'utilisation de ces mesures comportementales pour la spécification de coopérations entre modalité, que ce soit du côté de l'utilisateur ou du côté de l'ordinateur (par exemple agent conversationnel).
Les problèmes de conversions inter-modales (transmodalité) sont abordés
conjointement sous un angle théorique et pratique. En ce qui concerne le niveau
théorique, un stage de DEA a permis d'organiser l'espace problème et de proposer
une approche méthodologique dans le traitement de la transmodalité. A un niveau
plus appliqué, la transmodalité est plus particulièrement abordée à travers le
domaine du handicap visuel. Dans ce cadre, des travaux sont menés sur l'étude de
l'accès au Web (et plus généralement d'internet) par des non-voyants (une
collaboration avec une entreprise de développement de sites web est en cours de
mise en place), ainsi que sur l'aide au déplacement des aveugles à travers le
développement d'une canne multimodale exploitant le retour tactile et le retour sonore. Les travaux effectués dans ce dernier domaine ont donné lieu au dépôt d'un brevet et ce, dans le cadre d'une collaboration universitaire avec un laboratoire de physique du CNRS à Paris XI (Aimé Cotton).
Enfin, la relation entre analyse et génération est pour le moment étudiée dans le cadre d'une même modalité (langue naturelle écrite) à travers le développement de deux projets qui incluent de la « gestion documentaire », en exploitant le formalisme des « cartes conceptuelles » implantées sous la forme de « réseau à propagation guidée ». La méthode développée permet de comparer le contenu de différentes données textuelles. Le premier projet, « Les Alliances », a pour objectif de scinder automatiquement un ensemble de textes spécialisés de format et d'origines diverses en autant de `points de vue' sur une même question abordée. Le second projet (action bioInformatique) vise à partir d'une base de connaissance génétique (articles généraux, définitions, symboles synonymes) à détecter, parmi des textes nouveaux, les paragraphes qui font référence à des gènes, de manière non explicite.
Nos activités de recherche s'intègrent également dans l'action transversale VENISE du LIMSI. Dans ce cadre, une action incitative en collaboration avec le département Mécanique du LIMSI est en cours. Elle vise à étudier l'application des interfaces multimodales pour une simulation interactive et à terme immersive de phénomènes d'écoulements de fluides. Par ailleurs, nous collaborons activement avec le groupe Geste et Image pour la mise en place du noyau multimodal de gestion d'événements de la plateforme VENISE.
B. Turner, C. Henry, M.-F. Castaing, D. Béroule, G.Pitel, J.-P.
Sansonnet, F. Lim, M.-J. Pierrat, H. Zargayouna
Nous étudions le développement, avec l'Internet, de multiples activités
partagées, à distance, dans un très grand nombre d'activités humaines,
donc pas uniquement dans le cadre du travail collectif assisté par ordinateur
(TCAO). Ces activités vont des alliances d'intérêts faiblement connectées des
associations de citoyens aux intranets des entreprises dont le fonctionnement
est fortement contraint par les rythmes imposés par la concurrence économique,
en passant par des « collaboratoires » dans la recherche et la technologie.
Pour ce faire, il nous faut développer des outils informatiques permettant
de médiatiser de tels collectifs humains mais aussi de leur porter de
l'assistance non pas tant au plan de la communication « physique »
(de nombreux outils informatique existent déjà ou sont en cours d'étude)
qu'au plan sémantique, c'est-à-dire pour permettre à un collectif de se
rendre compte de « ce qui est en train de se passer ». Nous nous proposons
alors de nous appuyer sur une modalité particulière mais essentielle des flux
interactionnels : la langue naturelle ; tout simplement en raison de sa
richesse d'expression, en particulier pour les notions implicites
(opposées aux actions de communication explicites comme cocher des
cases, remplir des formulaires pré-établis...) lors d'une activité
collective. Il nous faut alors mettre en oeuvre des outils pour l'apprentissage
de comportements à partir du traçage des flux interactionnels linguistiques.
- La notion de lecture augmentée établit le lien entre
le thème PCD et l'axe prioritaire de VENISE, "exploration immersive et
analyse de données textuelles et factuelles appliquées à la bio-informatique
du génome". La réalité virtuelle ouvre des perspectives de nouvelles formes
de lecture dynamique. C'est ainsi, par exemple, que Rachid Gherbi et son
équipe ont montré que le format de visualisation des données empiriques
réunies dans une publication peut être modifié interactivement afin d'étudier
entre autres la trajectoire de la double hélice, le degré de courbure de
l'ADN, la disposition spatiale des éléments génétiques. En même temps, ce
travail critique sur les données empiriques peut être enrichi par
l'existence de liens vers des données factuelles et textuelles publiées par
d'autres chercheurs. En effet, Patrick Paroubek a montré que ces liens
peuvent être automatiquement identifiés moyennant l'application des techniques
du traitement du langage naturel. Enfin, l'équipe PCD a entamé un travail
avec Yacine Bellik et Jean-Claude Martin sur le thème de l'interactivité
multimodale afin de doter ces environnements informatiques de lecture
scientifique de dispositifs collectifs. Offrir la possibilité de lire des
textes à plusieurs, d'enregistrer des échanges (textuelles et orales) et
des modifications du format de visualisation (traitement de gestes) contribue
à l'étude des processus dialogiques structurant l'activité collective
décrite ci-dessus.
THÈME 3 : SYSTÈMES MULTI-AGENTS
X. Briffault, N. Guichard, J.-P. Kotowicz, G. Sabah, J.-P. Fournier,
J.-P. Sansonnet, S. Gérard, G. Pitel, N. Sabouret, N. Bredèche, E. Jamin,
X. Pétard, J.-P. Leboeuf, J.-P. Martin
1. Il nous faut proposer un formalisme déclaratif permettant de représenter la sémantique de la structure et surtout du fonctionnement des entités effectives médiées.
2. Il nous faut proposer des outils génériques capables d'exploiter ces représentations sémantiques pour recevoir des requêtes, fournir des explications et participer à des tâches d'assistance dans l'Internet etc., cela pour les schémas d'interaction (HM, MM, HMH) que l'on rencontre dans les SICD.
3. Il nous faut proposer des outils de traitement automatique de la langue naturelle qui assurent une articulation la plus naturelle possible entre les entités H et M, ce qui impose de prendre en compte la dimension langagière, sociale et cognitive de l'interaction.