CORPUS ET ÉVALUATION (Action CORVAL)
Lancée en octobre 1997, l'action CORVAL a pour objectif d'être un lieu d'échanges et de synthèse autour des activités concernant les corpus (oraux ou écrits) et l'évaluation des systèmes de communication en langue. Les corpus, qui sont des regroupements d'extraits de langue (allant de l'oeuvre complète aux extraits de quelques mots) guidés par une hypothèse de recherche explicite, constituent de nos jours un support indispensable au développement des systèmes de communication en langue (SCL). Mais la spécificité des langues naturelles nécessite d'avoir recours à des solutions appropriées pour la représentation, le stockage, l'exploration, l'analyse et la maintenance de ces données d'un genre bien particulier et, si des normes commencent à apparaître, beaucoup de points restent encore en attente de solutions reconnues par tous. Des questions comme les critères de sélection du contenu d'un corpus, ou l'évaluation de sa qualité, restent pour le moment du domaine de la recherche. Pour l'évaluation des SCL, le paysage est encore plus hétérogène puisque, selon le type de système considéré, on peut tout trouver : des programmes d'évaluation internationaux ayant parfois une histoire couvrant plus d'une décennie avec des protocoles et des métriques bien définis (par exemple en reconnaissance de la parole), mais aussi des domaines où l'évaluation est encore un problème ouvert (terminologie ou un systèmes de dialogues). Certains se demandent même si l'évaluation en SCCI est un sujet de recherche à part entière. Nous le pensons ; mais ce point n'est pas encore admis par l'ensemble de la communauté. Quels sont les bénéfices pour le domaine et de quelle infrastructure a-t-on besoin au niveau national et international ? Quelle méthodologie doit-on employer ? L'évaluation doit-elle s'intéresser au processus de résolution ou plutôt à l'aide apportée à l'utilisateur ? Ce sont quelques-unes des questions auxquelles cette action souhaite apporter des réponses.
L'histoire de l'action CORVAL peut être découpée en trois époques. Lors de la première (1997-1998), les activités du groupe ont concerné principalement les ressources (projet CNRS/AUF SILFIDE) et les méthodes quantitatives d'évaluation des systèmes d'annotation de textes (action incitative XiCOP d'extraction d'information) et une réflexion sur l'évaluation de la segmentation de textes [1]. L'INaLF et le Loria (Nancy), l'EPFL (Lausanne), TALANA (U. Paris 7), le LPL (Aix-en-Provence), ELRA (Paris), l'AUF (Paris) ont contribué aux activités du groupe. Une réflexion plus générale sur l'évaluation a aussi été effectuée dans le cadre du projet Européen ELSE (infrastructure pour l'évaluation en génie linguistique pour le 5è programme-cadre de la Communauté Européenne) [2]. Au cours de la seconde époque (1998-1999), les efforts se sont portés sur le projet MULTITAG [6] du CNRS (valorisation du corpus produit par la campagne d'évaluation GRACE [3][5] des systèmes d'annotation morpho-syntaxique), la contribution à un projet de BQR avec le LRI (Orsay) pour l'évaluation d'un système d'apprentissage à partir de textes, une contribution aux rapports finals des projets européens ELSE et DISC (ingénierie des systèmes de dialogue oral) [4]. Dans l'époque actuelle, les activités de CORVAL concernent 1) le projet européen CLASS qui est une action destinée à promouvoir une synergie entre projets selon quatre regroupements thématiques (l'interaction naturelle et multimodale, la gestion de connaissances interlingues, la présentation interactive intelligente d'information, et l'évaluation en langue écrite et en parole), 2) le développement d'une réflexion sur les aspects théoriques de l'évaluation, 3) la définition d'un protocole d'évaluation pour les analyseurs syntaxiques (projet PEAS LIMSI-CHM), 4) la participation à un groupe de travail ISO sur l'évaluation des systèmes de dialogue parlé, 5) la participation à la rédaction d'appels d'offres en ingénierie linguistique pour le Ministère de la recherche, 6) et le développement de collaborations pluridisciplinaires comme celle commencée avec l'INIST et le département des Sciences de la Vie du CNRS sur l'analyse d'information dans l'étude du génome humain [7].