Apprendre à « swiper » sans voir: Apprentissage des gestes tactiles et de balayage sur smartphone pour les personnes aveugles et fortement malvoyantes

Un projet soutenu dans le cadre du champ thématique de la transformation numérique humaine a repoussé les limites de l’inclusion numérique. Une application innovante vise à aider des formateurs aveugles ou fortement malvoyants à initier des personnes malvoyantes aux gestes tactiles et de balayage complexes des smartphones. Les résultats prometteurs du projet Aide à l’apprentissage des gestes pourraient ouvrir la voie à un monde numérique véritablement accessible.

Le défi didactique

L’association Apfelschule s’est donné pour mission de permettre aux personnes aveugles et malvoyantes de gagner en autonomie grâce à l’accès aux nouvelles technologies intelligentes. L’un des principaux défis réside dans l’enseignement des gestes tactiles et de balayage. Il existe de nombreux gestes exécutés avec un, deux, trois ou quatre doigts. Selon qu’il s’agisse d’un balayage, d’un tapotement ou d’un glissement, l’écran tactile réagit différemment.

Lorsque les formateurs eux-mêmes sont aveugles ou malvoyants, il est particulièrement difficile de contrôler et de corriger l’exécution des gestes. Ils ne peuvent pas voir ce qui est incorrect ni comprendre pourquoi un geste ne fonctionne pas lors de l’exercice ou ne produit pas l’effet escompté. C’est dans ce contexte qu’est née l’idée de développer une application d’apprentissage. Son objectif est d’aider les responsables de cours, grâce aux retours fournis par l’application, à déterminer si les participants exécutent correctement un geste.

Les trois éléments clés de l’application d’apprentissage

VoiceOver est un lecteur d’écran qui permet aux personnes aveugles ou malvoyantes d’accéder au contenu affiché grâce à une synthèse vocale et de commander un smartphone ou une tablette au moyen de gestes.

Afin d’apprendre ces gestes, une aide à l’apprentissage numérique a été développée sous la forme d’une application web (preuve de concept). Elle repose sur trois éléments clés qui guident progressivement les utilisateurs et utilisatrices dans l’apprentissage des différents gestes : la « liste », la « leçon » et le « jeu ».

1.La liste

Dans la fonction « liste », les différents gestes à apprendre sont répertoriés. Ils peuvent être sélectionnés et répétés autant de fois que nécessaire jusqu’à leur maîtrise correcte.

Liste des gestes disponibles et entraînement des gestes sélectionnés

Après chaque geste exécuté, l’application fournit un retour immédiat. En cas d’exécution correcte, l’utilisateur ou l’utilisatrice entend par exemple un « Bien joué ! », qui encourage à poursuivre l’exercice. En cas d’erreur, un signal sonore d’avertissement est émis, suivi d’un message explicatif — tel que : « Le double tap a été exécuté trop lentement. Veuillez réessayer. » — transmis par synthèse vocale.

Le geste a été exécuté correctement et le geste a été exécuté incorrectement.      

2.La leçon

L’élément central « Leçon » accompagne l’apprentissage des gestes VoiceOver. Ce module propose des leçons conçues selon une progression didactique logique, à suivre dans l’ordre. Chaque leçon suivante ne peut être entamée que si la précédente a été réussie. Le retour sur l’exécution des gestes est fourni à la fois par des indications visuelles et des messages sonores.

Page d’introduction, brève explication, leçons

3.Le jeu

Une fois que les gestes individuels ont été appris grâce aux éléments Liste et Leçon, les utilisateurs et utilisatrices de l’application peuvent les pratiquer de manière ludique dans des contextes spécifiques grâce à la fonction Jeu.

Page d’introduction, sélection des thèmes, questions à traiter

Il ne suffit pas de maîtriser les gestes pour réussir dans le jeu. Pour répondre correctement, il est essentiel de savoir quel geste correspond à quelle action. Parallèlement, le jeu stimule et enrichit la culture générale dans différents domaines thématiques.

Comme dans les autres modules, un retour visuel et sonore accompagne chaque exercice. Si le geste est correctement exécuté et que la réponse à la question posée est juste, la question suivante apparaît. Si seul le geste est correct mais que la réponse est incorrecte, la question suivante est tout de même proposée. Cependant, cela réduit le score final à la fin du jeu.

Les défis techniques

Au-delà de la réussite de l’implémentation des trois éléments clés décrits, nous avons rencontré plusieurs difficultés lors du développement de l’application web. Celles-ci sont principalement liées au fait que nous sommes un éditeur tiers : l’application n’est pas développée par le fabricant du système d’exploitation (Apple ou Google). Comme les gestes tactiles et de balayage ne sont pas exposés via une interface officielle par les fabricants, ils ont dû être implémentés depuis zéro. Il n’existe pas de documentation détaillée sur ces gestes : par exemple, il n’est pas défini à partir de quelle durée un tap devient un tap-and-hold, ni à partir de quel angle un balayage de gauche à droite est considéré comme invalide. La création d’un environnement d’apprentissage convaincant nécessitera donc à l’avenir un processus itératif conséquent avec beaucoup de tests. Les éditeurs tiers sont clairement désavantagés face aux fabricants de systèmes d’exploitation.

Une autre limitation pour les éditeurs tiers est que la reconnaissance des gestes ne fonctionne plus lorsque les utilisateurs ont activé le mode de contrôle gestuel de leur smartphone. Dans ce cas, les gestes sont interprétés directement pour le contrôle de l’appareil et ne sont plus transmis aux applications. Pour être utilisée comme outil pédagogique, une application productive devrait donc fonctionner sur des appareils de formation dédiés, et son utilisation sur les appareils personnels des personnes aveugles ou malvoyantes serait complexe.

Valeur ajoutée et perspectives

Grâce à l’application d’apprentissage envisagée, les formateurs de l’Apfelschule pourraient mieux contrôler si les gestes sont correctement exécutés. Le prototype actuel n’intègre pas encore la fonction de retour vers les formateurs. Une telle fonction de feedback est indispensable pour savoir quels gestes doivent encore être pratiqués et enseignés afin que les apprenants puissent les réaliser correctement.

À terme, le projet dépasse l’apprentissage des gestes tactiles et de balayage. Un projet futur vise à développer une aide à l’apprentissage ludique et pédagogiquement riche, offrant aux personnes aveugles, malvoyantes et voyantes de nouvelles possibilités pour explorer le monde des gestes. Le résultat attendu : une application inclusive, à la fois outil pédagogique et jeu captivant pour tous les âges.