Monique immortalise ses souvenirs grâce à l’IA et à un smartphone

Monique aime la vie. Maman de Robin, sa grande fierté, elle est auteure et présidente de sa propre asbl, Graag Zien, pour laquelle elle donne régulièrement des conférences. Elle adore photographier et poster ensuite ses plus beaux instantanés sur Instagram. Mais tout n’est pas si simple, puisque Monique est aujourd’hui aveugle depuis trente ans… Elle a encore de très nombreux souvenirs visuels du passé. Cependant, ces derniers temps, elle remarque qu’ils s’estompent de plus en plus. Dans la vie de tous les jours, elle se heurte à des problèmes pratiques. Quand elle donne des conférences, par exemple, il lui est difficile d’utiliser un projecteur. C’est la raison pour laquelle elle a demandé de l’aide au programme Canvas. Katrien de Graeve, Microsoft-maker, a interprété cette demande au sens large et a développé une application de reconnaissance visuelle couplée à l’intelligence artificielle.

Avant de le savoir, Lieven Scheire était dans mon séjour !

Monique a rédigé un courrier où elle demandait aux « makers » s’il existait une solution pour régler et redresser le projecteur. Afin d’ancrer cette demande dans un cadre plus concret, elle a fait part de sa passion pour la photographie. « J’ai incidemment glissé que je pouvais avoir besoin d’aide lors de la prise et du choix de photos. C’était une demande accessoire et je ne m’attendais pas vraiment à ce qu’elle soit prise en compte », explique Monique. « Il me semblait que la question était difficile à résoudre. Ma demande était surtout une aspiration personnelle. Je partais du principe qu’il existait toutefois des choses plus importantes que m’aider à choisir une photo et à régler et/ou redresser un projecteur. Bien que j’aie reçu régulièrement des mises à jour, je ne m’étais totalement pas attendue à ce que ma demande soit traitée par la Team Scheire ».

« J’avais lâché le morceau et ceux qui me connaissent un peu, savent que ce n’est pas vraiment mon genre », dit-elle en riant. « Tout s’est tout à coup emballé… J’ai découvert qu’ils avaient retenu ma demande et fin mars, Lieven Scheire, le leader de Team Scheire, et la Microsoft-maker Katrien se sont soudainement retrouvés dans mon salon, avec une équipe de tournage. Quatre mois plus tard, ils étaient sur le pas de la porte avec l’application finalisée. Une expérience remarquable de A à Z, supersympa et superintéressante ! »

« Si, à l’origine, ma demande portait simplement sur le réglage et le redressement d’un projecteur, en finale, l’application créée par Katrien représente une avancée considérable pour moi. »

© VRT / Sputnik Media

L’IA aide Monique à prendre et à sélectionner les photos

Katrien, la maker, s’est basée sur Seeing AI, une application de reconnaissance visuelle de Microsoft existante pour les malvoyants, pour élaborer une version personnalisée pour Monique. Un tour de force qu’elle a mené à bien en collaboration avec ses collègues Nick Trogh et Jan Tielens. L’application utilise un algorithme d’IA pour analyser l’image de l’appareil photo du smartphone et dire à haute et intelligible voix ce qu’elle reconnaît dans son environnement. Grâce à Katrien, l’application peut également photographier cette image. De plus, le posemètre a été réglé de telle sorte que l’application indique si vous êtes en contre-jour ou non. De plus, le smartphone vibre lorsque vous tenez l’appareil de travers. « C’est peut-être un détail pour vous, mais quand Katrien m’a montré la fonction de vibration, pour moi, cela voulait dire beaucoup ! Que du bonheur ! », lance Monique en esquissant un grand sourire. « Je peux aussi ajouter des personnes spécifiques, comme mon fils Robin, pour qu’elles puissent être reconnues. Et, cerise sur le gâteau : Katrien a élaboré un algorithme séparé qui reconnaît mon poney-guide d’aveugle Dinky ! »

L’amour de la photo avec une déficience visuelle

Monique s’active toujours telle une abeille laborieuse. Pour son absl Graag Zien, elle s’attache à forger une image positive des personnes handicapées. Elle a également écrit le livre éponyme « Graag zien! Blinde mama, sterke vrouw » (Aimer voir – Maman aveugle, femme forte). Lors de conférences consacrées à ce thème, elle aime utiliser des photos. Il lui était presque impossible de les choisir elle-même, et encore moins de les prendre. « Des photos donnent nettement plus de poids à votre témoignage. Pour moi, l’adage « une photo vaut mieux qu’un long discours » ne relève pas du cliché, j’y crois dur comme fer ».

« De plus, j’adore Instagram. Aujourd’hui, presque tout le monde a un profil, et quand j’y poste quelque chose, je me sens plus connectée au monde. Avant, je devais demander à quelqu’un de décrire la photo pour que je puisse lui donner un titre que mon PC lisait ensuite à haute voix. Le résultat y était, mais il faut reconnaître que tout cela était un peu lent… »

Balle de ping-pong et pommier

Monique estime que le prototype – l’application n’est pas encore finalisée – est un bon début : « Je peux désormais prendre des photos moi-même et effectuer une première sélection. De temps en temps, je peux même réfléchir sur la qualité de l’image. Cela me permet de faire l’économie d’un certain nombre d’étapes. Le fait que Katrien écoute attentivement mes commentaires et mes réactions, et continue à travailler sur l’application, même après le tournage, c’est tout bonnement génial. Qui sait, un jour, elle pourrait peut-être devenir plus qu’un prototype. »

Comme l’algorithme de l’intelligence artificielle est encore en plein apprentissage, l’application suscite parfois des moments de franche hilarité : « Il n’y a pas si longtemps, je me suis rendue dans un café avec des amis pendant la Coupe du Monde. J’ai regardé autour de moi avec l’application et soudain elle m’a dit qu’elle avait vu un écran et une balle de ping-pong. Confusion totale, car aucune table de ping-pong n’était présente… Soudain, nous nous sommes rendu compte que l’application avait interprété le ballon de football à l’écran de télévision comme une balle de ping-pong. J’avoue qu’à ce moment nous en avons pris un coup… Tout comme la fois où elle a reconnu mon pommier comme une pomme Granny Smith. Presque correct, mais surtout très drôle. »

L’application exige tout de même un peu d’exercice

Les algorithmes ne sont toutefois pas les seuls à devoir apprendre. En effet, Monique a dû elle aussi s’adapter à l’application. « Dans un premier temps, je devais me souvenir de beaucoup de choses. Je ne suis pas une experte en technologie, mais plutôt une femme au foyer qui aime jouer avec la technologie. Je reste régulièrement bouche bée lorsque je vois ce que les jeunes avec une déficience visuelle parviennent à faire avec la technologie. Entre-temps, j’ai pu m’entraîner suffisamment et j’apprends des astuces pour mieux utiliser l’application, par exemple pour interpréter les descriptions audio », explique Monique. « Par exemple, si je prends un selfie, l’application devrait me reconnaître. Cela n’arrive pas toujours et l’application dit alors qu’elle ne voit qu’un visage. Dans ce genre de situation, je pensais, dans un premier temps, à une erreur logicielle, mais j’ai ensuite découvert que mon visage n’était pas correctement cadré. Je sais alors que je dois déplacer un peu l’appareil photo. »

« Dans un environnement bruyant comme le café où je suivais la Coupe du Monde, les descriptions audio ne sont pas toujours compréhensibles, même en poussant le volume au maximum. Je résous maintenant ce problème en utilisant des écouteurs Bluetooth. Quand la version hors ligne de l’application n’était pas encore entièrement traduite, j’apprenais même encore quelques mots d’anglais ! L’application disait constamment qu’elle voyait un tabby. Je n’avais pas la moindre idée de ce qu’elle voulait dire par là jusqu’à ce que quelqu’un me dise que c’était le mot anglais pour ‘chat tigré’. »

« À l’instar des algorithmes qui apprennent et se forment en permanence, mes souvenirs ne cessent de s’améliorer. »

L’application redonne des couleurs aux souvenirs de Monique

« À l’origine, je n’avais demandé qu’une solution pour régler et/ou redresser un projecteur. En finale, l’application que Katrien représente nettement plus pour moi. Dans les mois qui ont précédé le tournage de Team Scheire et la création de l’application, j’ai éprouvé beaucoup de difficultés. J’avais le sentiment que mes souvenirs visuels s’estompaient. Ils sont si précieux pour moi. On pourrait penser qu’une application ne peut être d’aucune utilité, et pourtant c’est tout le contraire ! Grâce à l’application créée par Katrien, j’ai à nouveau une meilleure idée de tout ce qui m’entoure. Les images de mes souvenirs se ravivent et retrouvent leurs formes et leurs couleurs. À l’instar des algorithmes qui apprennent et se forment en permanence, mes souvenirs ne cessent de s’améliorer. Je n’aurais jamais pensé qu’une application pour smartphone pouvait m’aider. »

**

Le prototype de Monique vous intéresse-t-il ?

Nous avons mis au point un prototype spécial pour Monique sur la base d’une application Microsoft existante pour les malvoyants : Seeing AI. Comme vous pouvez le découvrir ci-dessus, grâce à l’application et à Team Scheire, Monique prend désormais des photos (de qualité) de manière plus autonome. Le prototype de Monique est une version personnalisée qui reconnaît, entre autres, Dinky, son guide d’aveugle, un adorable cheval-nain. C’est la raison pour laquelle cette version n’est pas accessible au public. Mais nous avons tout de même de bonnes nouvelles. La version actuelle de Seeing AI offre un certain nombre de fonctions similaires à celles utilisées par Monique, telles que :

1. « Browse Photos» : nouvelle fonction à partir de la version 2.3.1. Elle vous permet d’aller dans votre galerie de photos pour entendre ce qui est affiché sur chaque photo.
2. « Light» ou photomètre : permet de s’assurer qu’il n’y a pas de contraste violent avec une lumière vive derrière le sujet, par exemple.
3. « Person» : cette fonction vous permet d’entendre en temps réel combien de visages sont visibles à l’écran. Le menu vous permet d’« entraîner » l’application à reconnaître les visages de vos amis et de votre famille.
4. « Scene» : vous pouvez entendre ce que vous venez de photographier. Il est également possible de partager ces photos directement sur les médias sociaux.

Nous avons partagé tous les développements du prototype avec nos collègues de l’équipe Seeing AI. Nous ne savons pas encore s’ils pourront ajouter ces adaptations ni à quel moment.