Ressources linguistiques

Les méthodes statistiques que nous utilisons pour la modélisation linguistique utilisent les corpus comme matériau principal. Ces méthodes sont d'autant plus efficaces que ces ressources linguistiques existent en grande quantité et sous une forme d'une qualité suffisante. Ceci nous a donc amener à fournir un effort important dans la création, et la mise à disposition de ces ressources :

• Normalisation de textes Les corpus doivent être prétraités pour plusieurs raisons. Ces corpus de grande taille contiennent un certain nombre d'erreurs de frappe ou de formatage, d'où nous devons extraire un lexique et une estimation des fréquences des mots et des séquences de mots; il est donc nécessaire de nettoyer et de segmenter ces textes en ``mots'', la définition de ce qu'est un mot dépendant principalement des contraintes imposées à la fois par le système de reconnaissance et le modèle de langage. Nous devons segmenter le texte en satisfaisant au mieux deux critères contradictoires : avoir le lexique le plus petit possible (pour diminuer la charge de travail pendant la reconnaissance) avec une grande couverture et d'autre part générer des mots non ambigus syntaxiquement (afin d'augmenter le pouvoir discriminant du modèle de langage).

  Dans le cadre des actions de recherches concertées ``Linguistique, informatique et corpus oraux'' mises en place par l' AUPELF-UREF, nous avons mis à disposition des participants à l'action B1 portant sur la dictée vocale, des corpus écrits de grande taille (40M de mots). Ces corpus correspondent à plusieurs années d'archives des journaux Le Monde et Le Monde Diplomatique, prétraitées de manière à faciliter la construction des modèles de langages probabilistes. Des lexiques et des modèles de langage construits à partir de ces textes ont également été distribués aux participants.

• Groupe Corval Nous avons mis en place, en collaboration avec le groupe Langage et Cognition, un groupe de travail transversal s'attachant à partager l'expertise des deux groupes dans les domaines connexes s'appuyant sur l'utilisation massive de corpus, et sur l'évaluation. Au sein de ce groupe, des corpus et des logiciels sont mis en commun. Une première évaluation interne des différents segmenteurs a été mise en place.

  Ce groupe de travail a vocation à prendre une part active dans certains projets dans lesquels le LIMSI est impliqué, comme SILFIDE, dont le but est de développer un réseau de serveurs sur lesquels seront mis à disposition de la communauté francophone un certain nombre de corpus (dont le corpus de journaux précédemment cité), de lexiques et dictionnaires, ainsi que des outils génériques d'analyse et de traitement de données textuelles, ou encore GRACE, MULTITAG ou ELSE (voir partie Evaluation).