Wouter lit les sous-titres grâce à l’IA et peut de nouveau regarder des films !

Les experts linguistiques plaident pour davantage de sous-titres et dans le nord du pays, les films à gros succès ne sont que rarement doublés. Mais que faire si vous éprouvez des difficultés à les lire ? Wouter a 16 ans, adore les films et les jeux vidéo, mais souffre d’une déficience visuelle cérébrale . Il lui est donc impossible de lire les sous-titres. Wouter manque ainsi de chouettes moments en famille comme une soirée télé. C’est pourquoi sa maman, Sofie, a fait appel à « Team Scheire » ! Katrien, la conceptrice de Microsoft, a conçu une application avec reconnaissance optique des caractères qui reconnaît les lettres sur une image et les lit grâce à la synthèse vocale. Grâce à ce système, Wouter a déjà pu vivre au rythme des Animaux fantastiques.

Regarder de nouveau des films en famille

Une hémorragie cérébrale à la naissance a touché le centre de la vision de Wouter. Il lui est donc difficile de reconnaître les images des mots. Plus simplement, cela signifie que Wouter doit lire chaque lettre d’un mot séparément. Ce qui demande un gros effort, confie-t-il : « Lorsque je fais de mon mieux et que les mots ne sont pas trop longs, ça marche. Mais ça me demande beaucoup de temps et d’efforts : je ne tiens jamais très longtemps. Très vite, j’ai mal à la tête. Les films pour enfants sont encore doublés pour l’instant, mais j’ai grandi depuis et je n’aime plus trop ce genre de films. On pourrait encore les regarder ensemble, mais aujourd’hui que je suis plus âgé, tous les films que je souhaite voir sont sous-titrés. »

Non seulement Wouter passe à côté d’agréables moments cinéma avec ses amis et en famille, mais en plus, il ne peut même pas discuter avec ses amis lorsqu’ils parlent de leur série préférée ou d’un film. « Le soir, nous aimons regarder la télévision en famille. Wouter reste assis près de nous un petit temps, mais il va vite dans sa chambre, car il ne peut pas suivre le programme en anglais », confie Sofie, la maman de Wouter. Même aller voir un nouveau film au cinéma n’est plus possible pour Wouter : « Mes parents et mon frère vont parfois au cinéma sans moi. J’aurais adoré aller voir le film Les animaux fantastiques de la franchise Harry Potter, mais ce n’était possible. Depuis que nous avons l’application développée en interne par Katrien, tout a changé. Je peux de nouveau regarder la télévision et depuis, j’ai dévoré beaucoup de films. J’utilise également un casque à conduction osseuse : je peux donc entendre l’application énoncer les sous-titres sans rien perdre de la musique et des effets sonores.

Wouter utilise un casque à conduction osseuse pour entendre le texte parlé sans perdre une miette de la musique du film.

« J’aurais adoré aller voir le film Les animaux fantastiques de la franchise Harry Potter, mais ce n’était possible. Depuis que nous avons l’application développée en interne par Katrien, tout a changé. »

Attentes comblées et même dépassées…

Avec l’application de Katrien, les parents de Wouter n’en sont pas à leur coup d’essai en matière de logiciels pour aider leur enfant. « Nous sommes constamment occupés à chercher des moyens d’aider notre fils. Nous avons déjà essayé de nombreux progiciels comme Sprint, Kurzweil et Dragon. Aujourd’hui, alors que le monde se numérise toujours plus, tout est beaucoup plus pratique, mais aucune solution ne nous a jamais entièrement convaincus. Pour ne pas créer de faux espoirs, je n’ai rien dit lorsque j’ai inscrit Wouter à Team Scheire. Même pas un mot à mon mari ! », sourit Sofie.

La maman de Wouter, Sofie, n’a d’abord pas dit qu’elle avait inscrit son fils.

Lorsque Sofie a été informée que les concepteurs, ces esprits créatifs, étaient prêts à s’atteler au cas de Wouter, et qu’un collaborateur de la maison de production allait leur rendre visite, Sofie en a parlé à Wouter et au reste de la famille. Même Wouter n’avait pas placé la barre trop haut. « Au fil des ans, vous essayez toute sorte de choses, mais rien ne marche vraiment. Je craignais également que ma demande soit beaucoup trop difficile à réaliser d’un point de vue technique. Mais Katrien a dépassé toutes mes espérances : elle a conçu une appli qui fonctionne réellement et qui me permet aujourd’hui de regarder des films ! »

La tablette permet à Wouter de filmer les sous-titres. L’application lit ensuite le texte pour Wouter via son casque Bluetooth.

Un parcours semé d’embûches…

Cela ne signifie pas pour autant que tout s’est déroulé comme sur des roulettes. Les tournages se sont avérés plutôt épuisants pour Wouter : « Au début, j’étais très nerveux avec toutes ces caméras tournées vers moi ! Fort heureusement, pas besoin de costume ou de maquillage. Tout ne devait pas être parfait et ça m’a aidé à me détendre un peu. »

Katrien a rencontré Wouter pour la première fois en janvier 2018. « Nous avons beaucoup discuté. J’ai confié à Katrien ce que j’aimerais et je lui ai montré comment je fais mes recherches sur le web, les jeux auxquels je joue, etc. », explique Wouter. À Pâques, le premier prototype de Katrien était prêt. Elle utilisait la caméra d’une tablette Surface pour filmer les sous-titres à l’écran via une application qu’elle a elle-même développée. Le logiciel utilisait une branche de l’intelligence artificielle, à savoir la reconnaissance optique des caractères. Pour cette application, des algorithmes reconnaissent les lettres à l’écran. L’application scanne les sous-titres qui sont ensuite lus à l’aide d’un système de synthèse vocale.

« Je n’aurais pas vraiment parlé de réussite », poursuit Wouter. « Le logiciel n’a pas marché pour le film « Les Simpson » alors que pour la série, il fonctionnait comme il faut.. C’était apparemment dû aux sous-titres du film irréguliers et donc difficilement reconnaissables par l’intelligence artificielle. Je n’ai alors rien dit, mais ce premier test dépassait déjà de loin mes attentes. En outre, j’étais conscient qu’il ne s’agissait que d’un test et que Katrien allait continuer à travailler sur son application. »

Lors de leur première rencontre, Wouter a surtout parlé à Katrien de ses attentes et de sa relation avec son ordinateur.

Visite en cachette de Katrien

Après ce premier test, Katrien s’est remise à l’ouvrage pour améliorer son application. Mais pour ce faire, elle devait la tester de nouveau sur la télévision de la famille. Pour que l’application finale reste un secret pour Wouter, il fallait donc l’éloigner de la maison. « Je n’en savais rien », sourit Wouter. « Le jour où Katrien est venue, mon papa m’a demandé si je voulais aller acheter avec lui un nouveau jeu vidéo… et si je voulais y aller à moto. En me disant cela, il était sûr que je ne pourrais pas résister ! »

Cette visite incognito s’est révélée un succès pour l’application qui, après le test, remplissait parfaitement sa tâche, mais moins bonne pour les nerfs de Wouter. « Depuis le premier test, je n’avais plus entendu parler du prototype. La présentation de l’application devait être une surprise, mais ignorer la suite des événements me rendait un peu nerveux ! »

« Katrien a dépassé toutes mes attentes : elle a conçu une appli qui fonctionne réellement et qui me permet aujourd’hui de regarder des films ! »

Autres applications

Outre l’application séparée qui fonctionne via la caméra de la tablette, Katrien a également conçu un plug-in pour le site web VRTNU. Pour les films, la chaîne publique ajoute un flux de données distinct pour les sous-titres. Le plug-in de Katrien lit ces données et les envoie via le logiciel de synthèse vocale. Ainsi, Wouter peut également facilement regarder des vidéos sur VRTNU. Cela s’est avéré très pratique pour son travail scolaire, explique Wouter : « Bien sûr, je ne pouvais pas en dire trop en classe, mais j’ai déjà pu utiliser le logiciel pour un devoir sur l’Amérique. Par hasard, il y avait justement un reportage disponible sur VRTNU que, grâce au plug-in de Katrien, j’ai pu suivre et utiliser pour mon travail ! »

Et Les animaux fantastiques 2 alors ?

Wouter : « Eh bien, je ne savais pas vraiment qu’il était sorti, jusqu’à ce que quelqu’un m’en parle. Et je voulais vraiment le voir… et ça a marché ! Ce n’est pas évident à cause des droits d’auteurs, car avec l’application de Katrien, vous devez filmer dans la salle. Et elle y est arrivée : elle a obtenu l’autorisation de Fox, qui produit ce film, et nous sommes allés le voir ensemble le jour de mon anniversaire. Nous n’avons pas réussi à placer la tablette d’une façon optimale à 100%. Le résultat était donc un peu moins bon que dans mon salon, mais j’ai quand même trouvé cela super ! Bien sûr, c’était une expérience unique. Et j’espère qu’à l’avenir, une solution sera trouvée pour que je puisse aller au cinéma. Et je profite de l’occasion pour lancer un appel à tous les cinémas belges pour qu’ils y réfléchissent ! »

Et Katrien prend immédiatement la balle au bond : « Si les cinémas avaient les sous-titres séparément comme le plug-in VRT, il n’y aurait même plus besoin de tablette. Ces données seraient transférées immédiatement à un logiciel de synthèse vocale et vous pourriez les entendre grâce à un casque. »

Envie d’utiliser vous aussi le code de Katrien ? C’est possible !

Le logiciel développé par Katrien pour Wouter pourrait aider de nombreuses personnes. C’est pourquoi le plug-in pour VRTNU est disponible pour tout le monde. Le code source de l’application et du plug-in peut également être librement utilisé. Vous voulez réaliser votre propre plug-in pour YouTube ou d’autres diffuseurs de médias en continu avec des sous-titres ? C’est possible !