Katrien neemt een foto met een smartphone van een glimlachende Monique

Monique immortalise ses souvenirs grâce à l’IA et à un smartphone

Katrien De Graeve

Katrien De Graeve

Azure IoT Technology Specialist

Temps de lecture, 10 min.

Monique aime la vie. Maman de Robin, sa grande fierté, elle est auteure et présidente de sa propre asbl, Graag Zien, pour laquelle elle donne régulièrement des conférences. Elle adore photographier et poster ensuite ses plus beaux instantanés sur Instagram. Mais tout n’est pas si simple, puisque Monique est aujourd’hui aveugle depuis trente ans… Elle a encore de très nombreux souvenirs visuels du passé. Cependant, ces derniers temps, elle remarque qu’ils s’estompent de plus en plus. Dans la vie de tous les jours, elle se heurte à des problèmes pratiques. Quand elle donne des conférences, par exemple, il lui est difficile d’utiliser un projecteur. C’est la raison pour laquelle elle a demandé de l’aide au programme Canvas. Katrien de Graeve, Microsoft-maker, a interprété cette demande au sens large et a développé une application de reconnaissance visuelle couplée à l’intelligence artificielle.

Avant de le savoir, Lieven Scheire était dans mon séjour !

Monique a rédigé un courrier où elle demandait aux « makers » s’il existait une solution pour régler et redresser le projecteur. Afin d’ancrer cette demande dans un cadre plus concret, elle a fait part de sa passion pour la photographie. « J’ai incidemment glissé que je pouvais avoir besoin d’aide lors de la prise et du choix de photos. C’était une demande accessoire et je ne m’attendais pas vraiment à ce qu’elle soit prise en compte », explique Monique. « Il me semblait que la question était difficile à résoudre. Ma demande était surtout une aspiration personnelle. Je partais du principe qu’il existait toutefois des choses plus importantes que m’aider à choisir une photo et à régler et/ou redresser un projecteur. Bien que j’aie reçu régulièrement des mises à jour, je ne m’étais totalement pas attendue à ce que ma demande soit traitée par la Team Scheire ».

« J’avais lâché le morceau et ceux qui me connaissent un peu, savent que ce n’est pas vraiment mon genre », dit-elle en riant. « Tout s’est tout à coup emballé… J’ai découvert qu’ils avaient retenu ma demande et fin mars, Lieven Scheire, le leader de Team Scheire, et la Microsoft-maker Katrien se sont soudainement retrouvés dans mon salon, avec une équipe de tournage. Quatre mois plus tard, ils étaient sur le pas de la porte avec l’application finalisée. Une expérience remarquable de A à Z, supersympa et superintéressante ! »

« Si, à l’origine, ma demande portait simplement sur le réglage et le redressement d’un projecteur, en finale, l’application créée par Katrien représente une avancée considérable pour moi. »

Katrien photographie une joyeuse Monique avec un smart phone

© VRT / Sputnik Media

L’IA aide Monique à prendre et à sélectionner les photos

Katrien, la maker, s’est basée sur Seeing AI, une application de reconnaissance visuelle de Microsoft existante pour les malvoyants, pour élaborer une version personnalisée pour Monique. Un tour de force qu’elle a mené à bien en collaboration avec ses collègues Nick Trogh et Jan Tielens. L’application utilise un algorithme d’IA pour analyser l’image de l’appareil photo du smartphone et dire à haute et intelligible voix ce qu’elle reconnaît dans son environnement. Grâce à Katrien, l’application peut également photographier cette image. De plus, le posemètre a été réglé de telle sorte que l’application indique si vous êtes en contre-jour ou non. De plus, le smartphone vibre lorsque vous tenez l’appareil de travers. « C’est peut-être un détail pour vous, mais quand Katrien m’a montré la fonction de vibration, pour moi, cela voulait dire beaucoup ! Que du bonheur ! », lance Monique en esquissant un grand sourire. « Je peux aussi ajouter des personnes spécifiques, comme mon fils Robin, pour qu’elles puissent être reconnues. Et, cerise sur le gâteau : Katrien a élaboré un algorithme séparé qui reconnaît mon poney-guide d’aveugle Dinky ! »

Monique montre quelque chose sur son smartphone à Katrien qui rit

L’amour de la photo avec une déficience visuelle

Monique s’active toujours telle une abeille laborieuse. Pour son absl Graag Zien, elle s’attache à forger une image positive des personnes handicapées. Elle a également écrit le livre éponyme « Graag zien! Blinde mama, sterke vrouw » (Aimer voir – Maman aveugle, femme forte). Lors de conférences consacrées à ce thème, elle aime utiliser des photos. Il lui était presque impossible de les choisir elle-même, et encore moins de les prendre. « Des photos donnent nettement plus de poids à votre témoignage. Pour moi, l’adage « une photo vaut mieux qu’un long discours » ne relève pas du cliché, j’y crois dur comme fer ».

« De plus, j’adore Instagram. Aujourd’hui, presque tout le monde a un profil, et quand j’y poste quelque chose, je me sens plus connectée au monde. Avant, je devais demander à quelqu’un de décrire la photo pour que je puisse lui donner un titre que mon PC lisait ensuite à haute voix. Le résultat y était, mais il faut reconnaître que tout cela était un peu lent… »

Balle de ping-pong et pommier

Monique estime que le prototype – l’application n’est pas encore finalisée – est un bon début : « Je peux désormais prendre des photos moi-même et effectuer une première sélection. De temps en temps, je peux même réfléchir sur la qualité de l’image. Cela me permet de faire l’économie d’un certain nombre d’étapes. Le fait que Katrien écoute attentivement mes commentaires et mes réactions, et continue à travailler sur l’application, même après le tournage, c’est tout bonnement génial. Qui sait, un jour, elle pourrait peut-être devenir plus qu’un prototype. »

Comme l’algorithme de l’intelligence artificielle est encore en plein apprentissage, l’application suscite parfois des moments de franche hilarité : « Il n’y a pas si longtemps, je me suis rendue dans un café avec des amis pendant la Coupe du Monde. J’ai regardé autour de moi avec l’application et soudain elle m’a dit qu’elle avait vu un écran et une balle de ping-pong. Confusion totale, car aucune table de ping-pong n’était présente… Soudain, nous nous sommes rendu compte que l’application avait interprété le ballon de football à l’écran de télévision comme une balle de ping-pong. J’avoue qu’à ce moment nous en avons pris un coup… Tout comme la fois où elle a reconnu mon pommier comme une pomme Granny Smith. Presque correct, mais surtout très drôle. »

Monique rit et elle est assis dans un fauteuil

L’application exige tout de même un peu d’exercice

Les algorithmes ne sont toutefois pas les seuls à devoir apprendre. En effet, Monique a dû elle aussi s’adapter à l’application. « Dans un premier temps, je devais me souvenir de beaucoup de choses. Je ne suis pas une experte en technologie, mais plutôt une femme au foyer qui aime jouer avec la technologie. Je reste régulièrement bouche bée lorsque je vois ce que les jeunes avec une déficience visuelle parviennent à faire avec la technologie. Entre-temps, j’ai pu m’entraîner suffisamment et j’apprends des astuces pour mieux utiliser l’application, par exemple pour interpréter les descriptions audio », explique Monique. « Par exemple, si je prends un selfie, l’application devrait me reconnaître. Cela n’arrive pas toujours et l’application dit alors qu’elle ne voit qu’un visage. Dans ce genre de situation, je pensais, dans un premier temps, à une erreur logicielle, mais j’ai ensuite découvert que mon visage n’était pas correctement cadré. Je sais alors que je dois déplacer un peu l’appareil photo. »

« Dans un environnement bruyant comme le café où je suivais la Coupe du Monde, les descriptions audio ne sont pas toujours compréhensibles, même en poussant le volume au maximum. Je résous maintenant ce problème en utilisant des écouteurs Bluetooth. Quand la version hors ligne de l’application n’était pas encore entièrement traduite, j’apprenais même encore quelques mots d’anglais ! L’application disait constamment qu’elle voyait un tabby. Je n’avais pas la moindre idée de ce qu’elle voulait dire par là jusqu’à ce que quelqu’un me dise que c’était le mot anglais pour ‘chat tigré’. »

« À l’instar des algorithmes qui apprennent et se forment en permanence, mes souvenirs ne cessent de s’améliorer. »

L’application redonne des couleurs aux souvenirs de Monique

« À l’origine, je n’avais demandé qu’une solution pour régler et/ou redresser un projecteur. En finale, l’application que Katrien représente nettement plus pour moi. Dans les mois qui ont précédé le tournage de Team Scheire et la création de l’application, j’ai éprouvé beaucoup de difficultés. J’avais le sentiment que mes souvenirs visuels s’estompaient. Ils sont si précieux pour moi. On pourrait penser qu’une application ne peut être d’aucune utilité, et pourtant c’est tout le contraire ! Grâce à l’application créée par Katrien, j’ai à nouveau une meilleure idée de tout ce qui m’entoure. Les images de mes souvenirs se ravivent et retrouvent leurs formes et leurs couleurs. À l’instar des algorithmes qui apprennent et se forment en permanence, mes souvenirs ne cessent de s’améliorer. Je n’aurais jamais pensé qu’une application pour smartphone pouvait m’aider. »

**

Le prototype de Monique vous intéresse-t-il ?

Nous avons mis au point un prototype spécial pour Monique sur la base d’une application Microsoft existante pour les malvoyants : Seeing AI. Comme vous pouvez le découvrir ci-dessus, grâce à l’application et à Team Scheire, Monique prend désormais des photos (de qualité) de manière plus autonome. Le prototype de Monique est une version personnalisée qui reconnaît, entre autres, Dinky, son guide d’aveugle, un adorable cheval-nain. C’est la raison pour laquelle cette version n’est pas accessible au public. Mais nous avons tout de même de bonnes nouvelles. La version actuelle de Seeing AI offre un certain nombre de fonctions similaires à celles utilisées par Monique, telles que :

  1. « Browse Photos» : nouvelle fonction à partir de la version 2.3.1. Elle vous permet d’aller dans votre galerie de photos pour entendre ce qui est affiché sur chaque photo.
  2. « Light» ou photomètre : permet de s’assurer qu’il n’y a pas de contraste violent avec une lumière vive derrière le sujet, par exemple.
  3. « Person» : cette fonction vous permet d’entendre en temps réel combien de visages sont visibles à l’écran. Le menu vous permet d’« entraîner » l’application à reconnaître les visages de vos amis et de votre famille.
  4. « Scene» : vous pouvez entendre ce que vous venez de photographier. Il est également possible de partager ces photos directement sur les médias sociaux.

Nous avons partagé tous les développements du prototype avec nos collègues de l’équipe Seeing AI. Nous ne savons pas encore s’ils pourront ajouter ces adaptations ni à quel moment.

Informations supplémentaires sur les efforts réalisés en matière d'accessibilité par Microsoft

La technologie doit être inclusive. Découvrez comment nous essayons de rendre nos services et produits accessibles à tous.

Découvrez d’autres articles connexes par industrie :

Education

Découvrez d’autres articles connexes par dossier :

Astuces

  • 6 conseils pour créer un mot de passe fort

    6 conseils pour créer un mot de passe fort

    Il est crucial de créer un mot de passe fort pour vous protéger contre le vol et la fraude informatique lorsque vous réalisez des opérations en ligne. Nous vous donnons un petit coup de pouce pour arriver à vos fins ! Qu’est-ce qu’un mot de passe fort ? 1. Un mot de passe idéal est […]

Digital Transformation

None

  • Êtes-vous, vous aussi, joignable en dehors des heures de bureau ?

    Êtes-vous, vous aussi, joignable en dehors des heures de bureau ?

    Vérifiez-vous votre messagerie lorsque vous vous levez le matin ? Et lorsque vous êtes en vacances ? Envoyez-vous de temps à autre des messages à vos amis pendant les heures de bureau ? La frontière entre travail et vie privé a tendance à s’estomper. Comment gérez-vous cet état de choses ? Microsoft a chargé le […]

Presse

  • L’IA c’est quoi ? Katrien, de Team Scheire nous l’explique

    L’IA c’est quoi ? Katrien, de Team Scheire nous l’explique

    Pendant l’émission Team Scheire sur Canvas, Katrien de Graeve, une des inventrices et employée Microsoft, a utilisé l’intelligence artificielle pour développer un prototype d’application photo destiné à Monique, une personne aveugle. L’appareil photo de Monique peut reconnaître divers objets et donner des indications à son utilisatrice sur leur position. Grâce au machine learning, l’application peut apprendre à reconnaître les […]

Récits de clients

  • Émotions à l’ère du tout numérique

    Émotions à l’ère du tout numérique

    Un entretien avec Ann Bessemans, créatrice et chercheuse auprès de PXL MAD Trois quarts des possesseurs belges de smartphone utilisent les célèbres émoticônes emoji – cet univers de petits visages souriants, de dessins de parts de gâteau, etc. L’Oxford English Dictionary a même fait d’emoji le mot de l’année. Les plus curieux d’entre vous seront […]

Security & Privacy

  • 6 conseils pour créer un mot de passe fort

    6 conseils pour créer un mot de passe fort

    Il est crucial de créer un mot de passe fort pour vous protéger contre le vol et la fraude informatique lorsque vous réalisez des opérations en ligne. Nous vous donnons un petit coup de pouce pour arriver à vos fins ! Qu’est-ce qu’un mot de passe fort ? 1. Un mot de passe idéal est […]