Comment un coach numérique aide à la rééducation

Dans le cadre du projet international eHealth « CARE », l’entreprise Ateleris a développé un coach d’entraînement numérique qui accompagne les personnes lors de la réalisation d’exercices physiques. Les exercices sont enregistrés par une caméra web, puis analysés et évalués en temps réel à l’aide de l’intelligence artificielle (IA). Les personnes peuvent s’observer sur l’écran pendant les exercices et recevoir un feedback visuel.

Des études médicales[1] montrent que les patients victimes d’une crise cardiaque qui ont suivi un programme de rééducation souffrent moins de problèmes cardiaques à long terme et présentent un taux de mortalité plus faible. Mais en même temps, les études montrent que ces offres ne sont souvent pas suivies ou sont interrompues prématurément[2]. En Europe, jusqu’à 50% seulement des patients cardiaques participent à ces programmes et entre 12 et 56% ne les achèvent pas[3].

Les raisons de la non-participation ou de l’interruption d’un tel programme sont multiples. Le manque d’encadrement personnel, les problèmes logistiques tels que la recherche de dates ou la mauvaise accessibilité des centres de rééducation, mais aussi le stress lié à l’exécution des exercices en groupe sont les raisons les plus souvent citées[4]^,[5].

Un conseil personnalisé pour des effets positifs à long terme

Dans le projet Eurostars « CARE », une collaboration avec les deux entreprises danoises Tutee[6] et Wellfaster[7] et l’hôpital universitaire Radboud[8] aux Pays-Bas, a porté sur le développement d’une plateforme de santé en ligne pour un meilleur suivi de la rééducation des patients cardiaques après un infarctus du myocarde ou l’apparition d’autres maladies cardiovasculaires.

Une partie du projet consistait à étudier les méthodes numériques susceptibles d’augmenter la participation à la rééducation, de réduire les interruptions et de parvenir globalement à une activité physique plus durable. Différents aspects ont été mis en œuvre à cet effet, par exemple des canaux de conseil numériques via vidéo pour le suivi individuel à domicile entre le patient et le thérapeute ou une application d’accompagnement de la rééducation pour la motivation et le suivi numériques pendant et après la rééducation. L’appli a également été utilisée dans le cadre d’une étude menée par le partenaire Radboud Universitätsspital[9].

Figure 1 : Application de suivi de la rééducation du partenaire Wellfaster, tirée du document https://bmjopensem.bmj.com/content/7/3/e001159

Le coach d’entraînement numérique

Nous avons développé le coach d’entraînement numérique dans l’idée de permettre un accompagnement plus personnalisé des exercices de rééducation effectués de manière autonome à domicile, afin d’augmenter la fidélité à l’entraînement. L’application lit différentes vidéos d’entraînement, qui peuvent également être assemblées en séquences d’exercices, et filme la personne qui s’entraîne avec une caméra.

Pour commencer un exercice, il suffit de se placer devant la caméra, l’entraîneur numérique vérifie la posture et si celle-ci est correcte, l’exercice démarre automatiquement après quelques secondes. Pendant l’exercice, le patient ne se voit pas seulement lui-même, mais aussi une vidéo de l’entraîneur montrant l’exercice. En arrière-plan, l’entraîneur numérique compte automatiquement les répétitions de l’exercice et passe de lui-même à l’exercice suivant.

</x>https://customer-zmmtzxtiel4baype.cloudflarestream.com/6ffa709f5084e97372b1cc6996c36f2a/watch

L’IA reconnaît la position du corps et compte les répétitions

L’application utilise le modèle d’apprentissage automatique (ML) « MediaPipe Pose » de Google, qui peut reconnaître en temps réel la posture d’une personne dans une vidéo (ce qu’on appelle la « détection de la pose »). La particularité du modèle ML choisi est sa grande capacité de reconnaissance, même sur du matériel simple, ce qui permet même une exécution sur des appareils mobiles.

Fig. 2 : Les 33 points de référence du modèle ML pour la « Pose Detection », de https://google.github.io/mediapipe/solutions/pose.html

Grâce à 33 points de référence différents sur le corps, généralement situés le long des différentes articulations, le modèle ML peut reconnaître différentes postures, les distinguer les unes des autres et suivre les mouvements. Pour aider à s’orienter pendant l’entraînement, le squelette du corps détecté est superposé à l’image vidéo en temps réel, ce qui permet un contrôle visuel permanent de la posture.

D’autre part, il peut analyser la séquence de mouvements entre la vidéo de l’entraîneur et la personne qui s’entraîne, et reconnaître et attribuer l’exercice. Cela permet à l’application de contrôler la bonne exécution de l’exercice et de compter les répétitions correspondantes.

Expériences et développements

Au cours du projet CARE, nous avons pu acquérir différentes expériences avec le coach d’entraînement et le développer. Par exemple, il est apparu très tôt qu’une vitesse de lecture fluide était indispensable pour une bonne expérience d’entraînement. Un premier modèle de ML plus lent faisait stagner la lecture vidéo, interrompait le flux des exercices et était inutilisable pour l’entraînement.

Un autre défi pour l’algorithme ML était les exercices qui ne devaient pas être effectués en position debout frontale, mais en position penchée, latérale ou couchée sur le sol. C’est justement dans ces situations que la concordance avec la vidéo de l’entraîneur était insuffisante. Des informations de profondeur dans l’image vidéo, comme celles fournies par une caméra Kinect de Microsoft, auraient été utiles, mais n’auraient été réalisables qu’avec un matériel spécial. Là encore, le modèle ML « MediaPipe Pose » perfectionné a pu aider : Il a appris à extraire certaines informations de profondeur et d’angle d’une image vidéo normale et peut ainsi fournir les 33 points de référence comme positions 3D.

</x>https://mediapipe.dev/images/mobile/pose_world_landmarks.mp4

Source : exemple de vidéo de Google pour le positionnement 3D

Autres domaines d’application de la « détection de pose

Le coach d’entraînement numérique peut en principe être utilisé aussi bien dans le domaine de la santé que dans celui du fitness, bien qu’en tant que pure « lifestyle app », il doive faire face à moins d’obstacles. Pour une utilisation dans le domaine de la santé, par exemple dans la rééducation, l’application devrait d’abord être certifiée comme appareil médical, ce qui ne faisait pas partie du projet.

Il existe de nombreuses autres applications possibles pour les modèles ML « Pose Detection ». Par exemple, pour la détection des activités des personnes dans le sport, dans la sécurité et la surveillance, dans le domaine de l’ergonomie ou pour la saisie des processus de travail, ce qui est également connu sous le nom de « Process Mining ».

Références

[1] https://doi.org/10.1007/s12471-020-01413-1

[2] https://doi.org/10.1002/14651858.CD007131.pub4

[3] https://doi.org/10.1097/hcr.0000000000000580

[4] https://doi.org/10.1186/s12872-017-0512-7

[5] https://doi.org/10.1097/HCR.0000000000000709

[6] https://tutee.dk/en/tutee-english/

[7] https://wellfaster.com/indexen.html

[8] https://www.radboudumc.nl/en/patient-care

[9] https://bmjopensem.bmj.com/content/7/3/e001159