Sichtlos lernen, wie man «swiped»: Erlernen von Touch- und Wischgesten auf dem Smartphone für blinde und stark sehbeeinträchtigte Menschen

Ein durch das Themenfeld Humane Digitale Transformation gefördertes Projekt hat die Grenzen der digitalen Inklusion erweitert. Eine innovative App soll blinde und stark sehbeeinträchtigte Lehrende dabei unterstützen, sehbeeinträchtigte Menschen an die komplexen Touch- und Wischgesten von Smartphones heranzuführen. Die vielversprechenden Erkenntnisse aus dem Projekt «Gesten Lernhilfe» könnten den Weg für eine barrierefreie digitale Welt ebnen.

Die didaktische Herausforderung

Der Verein Apfelschule möchte blinden und sehbehinderten Menschen über den Zugang zu neuen, smarten Technologien ein Stück Unabhängigkeit ermöglichen. Eine grosse Herausforderung dabei ist das Vermitteln von Touch- und Wischgesten. Es gibt zahlreiche Gesten, die mit einem, zwei, drei oder vier Fingern ausgeführt werden. Je nachdem, ob gewischt, getippt oder gestrichen wird, reagiert der Touchscreen unterschiedlich. Wenn Lehrende selbst sehbehindert oder blind sind, ist es sehr schwierig, die Ausführung der Gesten zu kontrollieren und zu korrigieren. Sie können nicht sehen, was falsch gemacht wurde und warum eine Geste beim Üben nicht funktioniert bzw. nicht den gewünschten Effekt erzielt hat. Im Rahmen des Projekts entstand die Idee, eine Lern-App zu entwickeln. Ihr Ziel: Kursleitende mithilfe von Rückmeldungen der App dabei unterstützen zu erkennen, ob Kursteilnehmende eine Geste korrekt ausführen.

Die drei Kernelemente der Lern-App

«VoiceOver» ist ein Bildschirmleseprogramm, das blinden oder sehbehinderten Menschen ermöglicht, den angezeigten Inhalt mithilfe von Sprachausgabe zu erleben und das Smartphone oder Tablet mit Gesten zu bedienen.

Um diese Gesten zu erlernen, wurde eine digitale Lernhilfe als Web-Applikation (Proof-of-Concept) entwickelt. Sie besteht aus drei Kernelementen, die progressiv die Nutzer:innen an die verschiedenen Gesten heranführen: die «Liste», die «Lektion» und das «Spiel».

1. Liste

In der Funktion «Liste» sind verschiedene Gesten aufgelistet, die erlernt werden sollen. Sie können ausgewählt und so lange geübt werden, bis sie korrekt sitzen.

Abbildung links: Liste der verfügbaren Gesten, Abbildung rechts: Training der ausgewählten Geste

Die App gibt nach jeder Geste, die ausgeführt wurde, eine Rückmeldung. Wenn die Geste korrekt ausgeführt wird, hört man beispielsweise ein «Gut gemacht!» und wird zum Weitermachen motiviert, oder es gibt eine akustische Meldung bestehend aus einem Warnton und der Information

«Der Doppel Tap wurde zu langsam ausgeführt. Bitte versuche es noch einmal.». Diese wird per Sprachausgabe kommuniziert.

Abbildung links: Die Geste wurde korrekt ausgeführt, Abbildung rechts: Die Geste wurde nicht korrekt ausgeführt

2. Lektion

Das Kernelement «Lektion» unterstützt beim Erlernen der VoiceOver-Gesten. In dem Lernmodul werden didaktisch sinnvoll aufgebaute Lektionen angeboten, die nacheinander zu durchlaufen sind. Jede nächste Lektion kann erst angegangen werden, wenn die vorangehende erfolgreich abgeschlossen wurde. Feedback zur Gestenausübung erfolgt wiederum durch visuelle und akustische Rückmeldungen.

Einführungsseite, Kurzerklärung und Lektionen

3. Spiel

Nachdem einzelne Gesten mit den Kernelementen Liste und Lektion erlernt wurden, können Nutzer:innen der App mit einer Spielfunktion Gesten spielerisch und in bestimmten Kontexten üben.

Einführungsseite, Auswahl eine Themenbereiches, Zu beantwortende Frage

Die Gesten müssen dabei nicht nur beherrscht werden. Um richtig antworten zu können, ist es unerlässlich zu wissen, welche Gesten welchen Handlungen entsprechen. Nebenbei fordert und fördert das Spiel das Allgemeinwissen zu unterschiedlichen Themenbereichen.
Auch hier gibt es eine visuelle und akustische Rückmeldung zu den ausgeführten Übungen. Führt man die Geste korrekt aus und antwortet man richtig auf die gestellte Frage, folgt die nächste Frage. Sollte nur die Geste perfekt sein, aber die Antwort auf die Frage falsch, folgt trotzdem die nächste Frage. Allerdings mindert dies den Erfolg in der Endabrechnung am Schluss des Spiels.

Die technischen Herausforderungen

Neben dem Erfolg, die drei beschriebenen Kernelemente implementieren zu können, sind wir bei der Entwicklung der Web-Applikation gleichzeitig auf einige Schwierigkeiten gestossen. Sie hängen vor allem damit zusammen, dass wir ein Drittanbieter der App sind. Das bedeutet die App, wird nicht vom Hersteller des Betriebssystems (wie Apple oder Google) selbst entwickelt. Da die Touch- und Wisch-Gesten nicht von den Smartphone-Herstellern als Schnittstelle bereitgestellt werden, mussten diese von Grund auf implementiert werden. Es gibt keine detaillierte Dokumentation der Gesten, so ist zum Beispiel nicht definiert, ab welcher Dauer ein Tap (Klopfen) zum Tap-and-Hold (Tippen und halten) wird oder ab welchem Winkel ein Wischen von links-nach-rechts ungültig ist. Um eine überzeugende Lernumgebung schaffen zu können, ist deshalb zukünftig ein umfangreicher iterativer Prozess mit viel Testen erforderlich. Hier sind wir als Dritthersteller von Apps gegenüber den Herausgebern der Betriebssysteme benachteiligt.

Eine weitere Einschränkung für Dritthersteller ist, dass die Erkennung der Gesten paradoxerweise nicht mehr funktioniert, wenn die Benutzenden ihr Smartphone auf Gesten-Steuerung umgestellt haben. In diesem Fall werden die Gesten direkt für die Steuerung der Geräte interpretiert; und vom Betriebssystem nicht mehr an die Apps weitergegeben. Für die Umsetzung als Schulungs-Tool müsste eine produktive App also auf speziellen Schulungs-Geräten laufen und könnte nur umständlich direkt auf den persönlichen Geräten der Blinden und sehbeeinträchtigen Personen eingesetzt werden.

Mehrwert und das Wie-weiter

Durch die angestrebte Lern-App sollen Kursleiter:innen der Apfelschule eine bessere Kontrolle dafür bekommen, ob die Gesten korrekt ausgeführt werden. Der aktuelle Prototyp setzt noch nicht das Feedback an die Kursleitenden um. Nur mit einer solchen Feedbackfunktion können sie in Erfahrung bringen, was noch geübt und vermittelt werden soll, damit die Lernenden die Gesten korrekt ausführen.

Perspektivisch geht das Projekt über das blosse Training von Touch- und Wischgesten hinaus. Ein Folgeprojekt zielt darauf ab, eine spielerische und didaktisch wertvolle Lernhilfe zu entwickeln, die sowohl blinde und sehbeeinträchtigte Menschen als auch sehenden Nutzern neue Möglichkeiten bietet, ins Spiel eintauchen und die Welt der Gesten erkunden zu können. Das Ergebnis: Eine inklusive Lern-App, die gleichzeitig ein spannendes und fesselndes Spiel für Jung und Alt wird!