Accès aux formules mathématiques par des personnes non voyantes

A. Podevin, Y. Bellik, en collaboration avec P. Lorenzon*

Objet
La complexité des expressions mathématiques, et notamment leur caractère bidimensionnel ou arborescent, rend leur accès particulièrement difficile aux personnes mal ou non voyantes. Le but de ce projet est d'étudier et de définir des techniques d'interaction adaptées pour un accès efficace aux mathématiques par un utilisateur non-voyant. Nous entendons ici par accès, aussi bien la lecture que l'écriture d'expressions mathématiques bien que dans cette première phase nous ne nous soyons intéressés qu'à la lecture et la présentation des formules mathématiques.

Description
Les expressions mathématiques possèdent des caractéristiques qui les différencient notablement des expressions verbales et les rendent plus difficilement accessibles. Elles sont bidimensionnelles, précises et univoques. Ainsi, une erreur d'orthographe dans un texte n'empêchera pas la compréhension de ce texte. En revanche, une erreur d'un caractère dans une expression mathématique peut modifier complètement son sens. De plus, les mathématique exploitent de manière intensive plusieurs modalités visuelles (formules, graphes, matrices et autres diagrammes) qui rendent particulièrement difficile pour une personne non voyante l'accès à ce savoir. Dans le cadre de ce projet, nous avons cherché à définir une nouvelle méthode de présentation des formules mathématiques qui soit réellement adaptée aux non-voyants. Pour cela, nous avons effectué une étude comparative de diverses structures de représentation des expressions mathématiques (structure linéaire, arborescente, spatiale...) ainsi qu'une étude comparative de diverses modalités d'interaction pour l'accès aux mathématiques (synthèse / reconnaissance de parole, braille, image en relief, combinaison de plusieurs modalités...). Ces études nous ont permis de proposer de nouvelles formes de présentations des formules mathématiques [1] et de les tester à travers une application interactive exploitant le Concept Keyboard**. L'idée majeure des nouvelles formes de présentation testées était de conserver le squelette général des expressions algébriques, ceci afin de procurer un aperçu global rapide, et d'exploiter la spatialisation des formules en développant par le biais d'arborescences, les opérateurs qualifiés de "majeurs" et les termes trop complexes pour apparaître dans l'aperçu. Vingt-cinq formules tests ont ainsi été définies et ont permis d'évaluer les sept paramètres suivants : indicateur de pointeur et substitut, pointeur, substitution et décomposition, opérandes d'un opérateur majeur, profondeur du niveau de décomposition, opérateur "/" et barre de fraction, structure linéaire / spatiale / arborescente. Les formules test ont été imprimées en relief sur du papier thermo-gonflable, puis disposées sur le concept keyboard. L'utilisateur pouvait alors prendre connaissance des formules à travers sa perception tactile et dans les cas où il rencontrait des caractères mathématiques inconnus, il avait la possibilité grâce au concept keyboard, de cliquer sur l'élément inconnu et ainsi de recevoir un message vocal décrivant l'élement désigné.

Résultats et perspectives
Les tests ont été menés avec six utilisateurs et ont montré que la présentation selon une structure de substitution arborescente était une voie prometteuse. Le protocole d'expérimentation qui a été défini, consistait à demander à l'utilisateur de dicter à une personne voyante, la formule qu'il était en train de lire avec ses doigts et à mesurer pour chaque forme de présentation le temps mis pour "déchiffrer" la formule. Alors que nous voulions au départ, mesurer le temps d'assimilation des formules en fonction de leur forme de présentation, nous nous sommes aperçus lors des tests que certains utilisateurs ne faisaient qu'explorer la formule mais ne se construisaient pas forcément une image mentale de la structure de cette formule. Il nous faudra donc dans la prochaine étape définir un nouveau protocole d'expérimentation qui nous permette réellement de mesurer le degré d'assimilation de la formule et non pas simplement le temps nécessaire à son exploration.

Références
[1] A. Podevin, "Accès aux formules mathématiques par des personnes non voyantes : étude et définition d'une méthode adaptée", Mémoire de DEA Intelligence Artificielle et Algorithmique, Université de CAEN, Sept. 2002.

_________________

* Laboratoire de Mathématiques de l'Université d'Orsay Paris XI.
** Le Concept Keyboard est une tablette tactile constituée de 256 boutons, surlaquelle il est possible de poser des feuilles A4 ou A3 imprimées en relief (voir http://www.penny-gilescp.co.uk/).