Figure

Objet

Le consortium ELSE étudie comment le paradigme d'évaluation, considéré comme un outil puissant d'accompagnement de la recherche et un facteur de progrès technologique, pourrait être utilisé dans le contexte du 5^e programme cadre de la Communauté Européenne, en particulier dans les actions clés de l'IST. Le paradigme d'évaluation consiste en : la distribution de ressources linguistiques en grande quantité aux acteurs du domaine, le développement de systèmes par ces mêmes acteurs, le test contrasté de ces systèmes, la tenue d'un atelier au cours duquel les résultats de l'évaluation sont partagés entre les participants.

Description

ELSE a pour but l'élaboration d'un schéma d'infrastructure pour l'évaluation qui pourrait inspirer les actions mises en place dans le 5^e programme cadre. Dans un premier temps, ELSE a fait un bilan de l'utilisation du paradigme d'évaluation en ingénierie linguistique. En particulier, les différences qui existent dans le mode de déploiement aux États-Unis et en Europe ont été mise en évidence. ELSE a étudié les raisons sous-jacentes au déploiement du paradigme d'évaluation en Europe, ainsi que les bénéfices qui en résulteraient (accélération des progrès, accélération des transferts d'innovation de la recherche vers le développement, contribution à la création d'une image plus fidèle du domaine, augmentation de la quantité de données, de connaissances et d'outils disponibles).

ELSE propose 5 modes différents selon lesquels l'évaluation peut être utilisée, chacun correspondant à des contextes et des objectifs différents. Ce sont : l'évaluation en recherche fondamentale, l'évaluation technologique, l'évaluation orientée usage, l'évaluation d'impact et l'évaluation de programme. Parmi ces différents modes, ELSE a focalisé ses efforts sur l'évaluation de la technologie.

En réponse à l'intérêt manifesté par la communauté scientifique et technique, ELSE a étudié le lien qui existait entre l'évaluation technologique et l'évaluation orientée usage : elles sont complémentaires. ELSE a aussi montré comment l'évaluation technologique se positionne par rapport aux autres modes d'évaluation. Les travaux de ELSE ont fait apparaître le besoin d'une infrastructure permanente en Europe; ils contiennent des suggestions sur la manière dont l'évaluation pourrait être intégrée aux appels à propositions publiés par la Communauté Européenne : deux grandes lignes sont dégagées, l'une pro-active, l'autre réactive. ELSE propose une liste de tâches de contrôle (voir tables 1 et 2) qui pourrait faire l'objet d'une première série de campagnes d'évaluation. En outre, ELSE a examiné la possibilité de déployer le paradigme d'évaluation comme une activité annexe aux projets, en regroupant ceux-ci en fonction des technologies développées ou utilisées. Les travaux de ELSE prennent aussi en compte le multilinguisme en proposant deux approches possibles : utilisation de critères interlingues pour les tâches de contrôle ou bien utilisation d'un langage pivot. À partir des caractéristiques des campagnes qui ont été menées par le passé (voir table 3), ELSE a fourni une estimation du coût requis pour déployer le paradigme d'évaluation en Europe sur une grande échelle. Une étude préliminaire des problèmes juridiques liés à l'évaluation fait aussi partie des résultats du projet ELSE.

Résultats et perspectives

Après une année de travail, l'action préparatoire ELSE a produit Eva LE, les plans d'une infrastructure générique pour l'évaluation contrastée de technologie appliquée à l'ingénierie linguistique. En plus des différents documents qui décrivent l'infrastructure et les aspects essentiels du déploiement de l'évaluation de technologie (corpus, lexique, format des données, outils logiciels) et qui seront disponibles au printemps 99, ELSE produira aussi un atelier d'évaluation d'étiqueteurs morpho-syntaxiques ainsi que les plans pour une campagne d'évaluation Européenne d'étiqueteurs pour 3 langues Européennes.

Gpe Traitement du Langage Parlé		Dpt CHM		Sommaire		Présentation