Katrien a développé une application qui, grâce à l’intelligence artificielle, lit les sous-titres pour que Wouter, souffrant de déficience auditive cérébrale, puisse également regarder des films.

Wouter lit les sous-titres grâce à l’IA et peut de nouveau regarder des films !

Katrien De Graeve

Katrien De Graeve

Azure IoT Technology Specialist

Temps de lecture, 9 min.

Les experts linguistiques plaident pour davantage de sous-titres et dans le nord du pays, les films à gros succès ne sont que rarement doublés. Mais que faire si vous éprouvez des difficultés à les lire ? Wouter a 16 ans, adore les films et les jeux vidéo, mais souffre d’une déficience visuelle cérébrale . Il lui est donc impossible de lire les sous-titres. Wouter manque ainsi de chouettes moments en famille comme une soirée télé. C’est pourquoi sa maman, Sofie, a fait appel à « Team Scheire » ! Katrien, la conceptrice de Microsoft, a conçu une application avec reconnaissance optique des caractères qui reconnaît les lettres sur une image et les lit grâce à la synthèse vocale. Grâce à ce système, Wouter a déjà pu vivre au rythme des Animaux fantastiques.

Regarder de nouveau des films en famille

Une hémorragie cérébrale à la naissance a touché le centre de la vision de Wouter. Il lui est donc difficile de reconnaître les images des mots. Plus simplement, cela signifie que Wouter doit lire chaque lettre d’un mot séparément. Ce qui demande un gros effort, confie-t-il : « Lorsque je fais de mon mieux et que les mots ne sont pas trop longs, ça marche. Mais ça me demande beaucoup de temps et d’efforts : je ne tiens jamais très longtemps. Très vite, j’ai mal à la tête. Les films pour enfants sont encore doublés pour l’instant, mais j’ai grandi depuis et je n’aime plus trop ce genre de films. On pourrait encore les regarder ensemble, mais aujourd’hui que je suis plus âgé, tous les films que je souhaite voir sont sous-titrés. »

Non seulement Wouter passe à côté d’agréables moments cinéma avec ses amis et en famille, mais en plus, il ne peut même pas discuter avec ses amis lorsqu’ils parlent de leur série préférée ou d’un film. « Le soir, nous aimons regarder la télévision en famille. Wouter reste assis près de nous un petit temps, mais il va vite dans sa chambre, car il ne peut pas suivre le programme en anglais », confie Sofie, la maman de Wouter. Même aller voir un nouveau film au cinéma n’est plus possible pour Wouter : « Mes parents et mon frère vont parfois au cinéma sans moi. J’aurais adoré aller voir le film Les animaux fantastiques de la franchise Harry Potter, mais ce n’était possible. Depuis que nous avons l’application développée en interne par Katrien, tout a changé. Je peux de nouveau regarder la télévision et depuis, j’ai dévoré beaucoup de films. J’utilise également un casque à conduction osseuse : je peux donc entendre l’application énoncer les sous-titres sans rien perdre de la musique et des effets sonores.

Wouter tient un casque spécial à conduction osseuse.

Wouter utilise un casque à conduction osseuse pour entendre le texte parlé sans perdre une miette de la musique du film.

« J’aurais adoré aller voir le film Les animaux fantastiques de la franchise Harry Potter, mais ce n’était possible. Depuis que nous avons l’application développée en interne par Katrien, tout a changé. »

Attentes comblées et même dépassées…

Avec l’application de Katrien, les parents de Wouter n’en sont pas à leur coup d’essai en matière de logiciels pour aider leur enfant. « Nous sommes constamment occupés à chercher des moyens d’aider notre fils. Nous avons déjà essayé de nombreux progiciels comme Sprint, Kurzweil et Dragon. Aujourd’hui, alors que le monde se numérise toujours plus, tout est beaucoup plus pratique, mais aucune solution ne nous a jamais entièrement convaincus. Pour ne pas créer de faux espoirs, je n’ai rien dit lorsque j’ai inscrit Wouter à Team Scheire. Même pas un mot à mon mari ! », sourit Sofie.

Wouter avec sa maman, Sofie, tout sourire.

La maman de Wouter, Sofie, n’a d’abord pas dit qu’elle avait inscrit son fils.

Lorsque Sofie a été informée que les concepteurs, ces esprits créatifs, étaient prêts à s’atteler au cas de Wouter, et qu’un collaborateur de la maison de production allait leur rendre visite, Sofie en a parlé à Wouter et au reste de la famille. Même Wouter n’avait pas placé la barre trop haut. « Au fil des ans, vous essayez toute sorte de choses, mais rien ne marche vraiment. Je craignais également que ma demande soit beaucoup trop difficile à réaliser d’un point de vue technique. Mais Katrien a dépassé toutes mes espérances : elle a conçu une appli qui fonctionne réellement et qui me permet aujourd’hui de regarder des films ! »

Wouter, assis dans un fauteuil avec son casque, regarde un film avec l’application.

La tablette permet à Wouter de filmer les sous-titres. L’application lit ensuite le texte pour Wouter via son casque Bluetooth.

Un parcours semé d’embûches…

Cela ne signifie pas pour autant que tout s’est déroulé comme sur des roulettes. Les tournages se sont avérés plutôt épuisants pour Wouter : « Au début, j’étais très nerveux avec toutes ces caméras tournées vers moi ! Fort heureusement, pas besoin de costume ou de maquillage. Tout ne devait pas être parfait et ça m’a aidé à me détendre un peu. »

Katrien a rencontré Wouter pour la première fois en janvier 2018. « Nous avons beaucoup discuté. J’ai confié à Katrien ce que j’aimerais et je lui ai montré comment je fais mes recherches sur le web, les jeux auxquels je joue, etc. », explique Wouter. À Pâques, le premier prototype de Katrien était prêt. Elle utilisait la caméra d’une tablette Surface pour filmer les sous-titres à l’écran via une application qu’elle a elle-même développée. Le logiciel utilisait une branche de l’intelligence artificielle, à savoir la reconnaissance optique des caractères. Pour cette application, des algorithmes reconnaissent les lettres à l’écran. L’application scanne les sous-titres qui sont ensuite lus à l’aide d’un système de synthèse vocale.

« Je n’aurais pas vraiment parlé de réussite », poursuit Wouter. « Le logiciel n’a pas marché pour le film « Les Simpson » alors que pour la série, il fonctionnait comme il faut.. C’était apparemment dû aux sous-titres du film irréguliers et donc difficilement reconnaissables par l’intelligence artificielle. Je n’ai alors rien dit, mais ce premier test dépassait déjà de loin mes attentes. En outre, j’étais conscient qu’il ne s’agissait que d’un test et que Katrien allait continuer à travailler sur son application. »

Wouter, Katrien et Sofie à table autour d’un café.

Lors de leur première rencontre, Wouter a surtout parlé à Katrien de ses attentes et de sa relation avec son ordinateur.

Visite en cachette de Katrien

Après ce premier test, Katrien s’est remise à l’ouvrage pour améliorer son application. Mais pour ce faire, elle devait la tester de nouveau sur la télévision de la famille. Pour que l’application finale reste un secret pour Wouter, il fallait donc l’éloigner de la maison. « Je n’en savais rien », sourit Wouter. « Le jour où Katrien est venue, mon papa m’a demandé si je voulais aller acheter avec lui un nouveau jeu vidéo… et si je voulais y aller à moto. En me disant cela, il était sûr que je ne pourrais pas résister ! »

Cette visite incognito s’est révélée un succès pour l’application qui, après le test, remplissait parfaitement sa tâche, mais moins bonne pour les nerfs de Wouter. « Depuis le premier test, je n’avais plus entendu parler du prototype. La présentation de l’application devait être une surprise, mais ignorer la suite des événements me rendait un peu nerveux ! »

« Katrien a dépassé toutes mes attentes : elle a conçu une appli qui fonctionne réellement et qui me permet aujourd’hui de regarder des films ! »

Autres applications

Outre l’application séparée qui fonctionne via la caméra de la tablette, Katrien a également conçu un plug-in pour le site web VRTNU. Pour les films, la chaîne publique ajoute un flux de données distinct pour les sous-titres. Le plug-in de Katrien lit ces données et les envoie via le logiciel de synthèse vocale. Ainsi, Wouter peut également facilement regarder des vidéos sur VRTNU. Cela s’est avéré très pratique pour son travail scolaire, explique Wouter : « Bien sûr, je ne pouvais pas en dire trop en classe, mais j’ai déjà pu utiliser le logiciel pour un devoir sur l’Amérique. Par hasard, il y avait justement un reportage disponible sur VRTNU que, grâce au plug-in de Katrien, j’ai pu suivre et utiliser pour mon travail ! »

Et Les animaux fantastiques 2 alors ?

Wouter : « Eh bien, je ne savais pas vraiment qu’il était sorti, jusqu’à ce que quelqu’un m’en parle. Et je voulais vraiment le voir… et ça a marché ! Ce n’est pas évident à cause des droits d’auteurs, car avec l’application de Katrien, vous devez filmer dans la salle. Et elle y est arrivée : elle a obtenu l’autorisation de Fox, qui produit ce film, et nous sommes allés le voir ensemble le jour de mon anniversaire. Nous n’avons pas réussi à placer la tablette d’une façon optimale à 100%. Le résultat était donc un peu moins bon que dans mon salon, mais j’ai quand même trouvé cela super ! Bien sûr, c’était une expérience unique. Et j’espère qu’à l’avenir, une solution sera trouvée pour que je puisse aller au cinéma. Et je profite de l’occasion pour lancer un appel à tous les cinémas belges pour qu’ils y réfléchissent ! »

Et Katrien prend immédiatement la balle au bond : « Si les cinémas avaient les sous-titres séparément comme le plug-in VRT, il n’y aurait même plus besoin de tablette. Ces données seraient transférées immédiatement à un logiciel de synthèse vocale et vous pourriez les entendre grâce à un casque. »

Envie d’utiliser vous aussi le code de Katrien ? C’est possible !

Le logiciel développé par Katrien pour Wouter pourrait aider de nombreuses personnes. C’est pourquoi le plug-in pour VRTNU est disponible pour tout le monde. Le code source de l’application et du plug-in peut également être librement utilisé. Vous voulez réaliser votre propre plug-in pour YouTube ou d’autres diffuseurs de médias en continu avec des sous-titres ? C’est possible !

Informations supplémentaires sur les efforts réalisés en matière d'accessibilité par Microsoft

La technologie doit être inclusive. Découvrez comment nous essayons de rendre nos services et produits accessibles à tous.

Découvrez d’autres articles connexes par industrie :

Education

  • kinderen met computers

    Fyxxilab enseigne le codage aux enfants avec la bourse YouthSpark

    La cloche retentit et les enfants de l’école primaire De Harp se ruent en classe. Seuls les élèves de M. Kristof restent sur le pas de la porte. Du brouhaha s’élève, car ils se rendent compte que leur classe a bien changé : des ordinateurs, des robots et des choses qu’ils ne connaissent même pas […]

  • Microsoft and Quantum Computing

    Comment créer un ordinateur quantique

    Le professeur Leo Kouwenhoven est un membre clé de l’équipe d’informatique quantique de Microsoft, et dirige une équipe de chercheurs et d’ingénieurs au laboratoire d’informatique quantique de Microsoft situé à Delft, aux Pays-Bas. Nous avons demandé au Professeur Leo pourquoi il est si difficile de créer un ordinateur quantique. Pourquoi est-il si difficile de créer […]

Découvrez d’autres articles connexes par dossier :

Astuces

  • 7 conseils pour profiter pleinement de OneDrive

    7 conseils pour profiter pleinement de OneDrive

    Microsoft OneDrive vous permet de télécharger et de synchroniser tous vos fichiers au départ de tous vos appareils, qu’il s’agisse de votre ordinateur portable, votre  smartphone ou votre Xbox. Profitez pleinement de OneDrive grâce à nos conseils avisés ! 1. 15 Gb gratuits de capacité de stockage Tous les utilisateurs de Microsoft OneDrive bénéficient d’office […]

Digital Transformation

None

Presse

  • Katrien and her team.

    La technologie sous-jacente aux aventures humaines de Team Scheire

    Ces dernières semaines, l’émission Team Scheire diffusée sur la chaîne flamande Canvas est devenue un rendez-vous incontournable du lundi soir pour un grand nombre de téléspectateurs du nord du pays et au-delà. Huit concepteurs (nos compatriotes néerlandophones les appellent des « makers ») ont trouvé des solutions aux problèmes de personnes qui ne pouvaient pas profiter pleinement […]

Récits de clients

  • Les enfants apprennent à programmer grâce à ‘Hour of Code’

    Les enfants apprennent à programmer grâce à ‘Hour of Code’

    C’est pour préparer les plus jeunes d’entre nous au marché du travail de demain du secteur du numérique qu’a été organisé du 7 au 13 décembre 2015 l’événement mondial « Hour of Code ». Quelques employés de Microsoft ont aussi proposé aux enfants, gratuitement, pendant une journée, une initiation à la programmation. Le résultat ? Une classe bondée […]

Security & Privacy

  • 6 conseils pour créer un mot de passe fort

    6 conseils pour créer un mot de passe fort

    Il est crucial de créer un mot de passe fort pour vous protéger contre le vol et la fraude informatique lorsque vous réalisez des opérations en ligne. Nous vous donnons un petit coup de pouce pour arriver à vos fins ! Qu’est-ce qu’un mot de passe fort ? 1. Un mot de passe idéal est […]