Wouter leest ondertitels met AI zodat hij weer films kan kijken

Taalexperts pleiten voor meer ondertitels en blockbusters worden nog zelden gedubd. Maar wat als lezen moeilijk is? Wouter is zestien, houdt van films en videogames, en heeft cerebrale visuele inperking (CVI). Daardoor is het voor hem onmogelijk om ondertitels te lezen. Wouter mist zo heel wat leuke momenten met zijn familie zoals een gezellige filmavond. Zijn mama Sofie riep daarom de hulp in van ‘Team Scheire’ en Microsoft-maker Katrien bedacht een app met optical character recognition, het herkennen van letters op een beeld, en tekst-naar-spraak. Hierdoor kon Wouter alvast genieten van Fantastic Beasts.

Terug samen films kijken

Door een hersenbloeding bij de geboorte, werd Wouters visuele centrum geraakt. Daardoor heeft hij moeite met het herkennen van woordbeelden. Kort door de bocht betekent dit dat Wouter elke letter van een woord apart moet lezen. Dat vraagt flink wat inspanning vertelt hij: “Als ik erg m’n best doe en de woorden niet te lang zijn, lukt het wel. Maar het kost heel veel tijd en moeite, waardoor ik het nooit lang volhoud. Al snel duikt er hoofdpijn op. Kinderfilms worden voorlopig nog gedubd, maar dat genre ben ik intussen ontgroeid. Die kon ik dus wel nog samen kijken, maar nu ik ouder ben zijn alle films die ik wil zien met ondertitels.”

Niet alleen mist Wouter zo de gezellige filmmomenten met vrienden en familie, hij kan niet meer meepraten met zijn vrienden als ze vertellen over hun favoriete serie of film. ” ’s Avonds kijken we met het gezin graag wat TV. Wouter zit dan wel even bij ons, maar hij gaat snel naar zijn kamer omdat hij het Engelse programma niet kan volgen”, zegt Sofie, de mama van Wouter. Ook een nieuwe film zien in de bioscoop zit er niet in vult Wouter aan: ” Mijn ouders en broer gaan soms zonder mij naar de cinema. Ik wou dolgraag mee om de film ‘Fantastic Beasts’, uit de Harry Potter-franchise, te zien, maar dat ging dus niet. Sinds we de app die Katrien ontwikkelde in huis hebben, is dat anders. Ik kan mee tv kijken en heb sindsdien al heel wat films verslonden. Ik gebruik ook bone conducting-oortjes waardoor ik de app hoor voorlezen zonder de muziek en geluidseffecten te moeten missen.”

Wouter gebruikt ‘bone conducting’-oortjes om de uitgesproken tekst te horen zonder de filmmuziek te missen.

“Ik wou dolgraag mee om de film ‘Fantastic Beasts’, uit de Harry Potter-franchise, te zien, maar dat ging dus niet. Sinds we de app die Katrien ontwikkelde in huis hebben, is dat anders. “

Verwachtingen overtroffen

Met de app van Katrien zijn de ouders van Wouter niet aan hun proefstuk toe als het gaat over software die hun zoon kan helpen. “Je bent constant bezig met zoeken naar hulpmiddelen voor je kind. We probeerden al heel wat softwarepakketten zoals Sprint, Kurzweil en Dragon. Nu de wereld meer digitaal is, werkt dat allemaal al een stuk handiger, maar gigantische successen zijn het nooit. Om geen verwachtingen te scheppen, heb ik ook niks gezegd toen ik Wouter had ingeschreven voor Team Scheire. Zelfs niet tegen mijn man”, lacht Sofie.

De mama van Wouter, Sofie, vertelde aanvankelijk niet dat ze haar zoon had ingeschreven.

Toen Sofie bericht kreeg dat de makers graag aan Wouters case wilden werken en dat een medewerker van het productiehuis ging langskomen, lichtte Sofie Wouter en de rest van het gezin in. Ook Wouter had aanvankelijk geen al te hoge verwachtingen: “Je probeert al jaren dingen uit, maar niets werkt naar behoren. Ik vreesde dan ook dat mijn vraag technisch veel te moeilijk zou zijn. Maar Katrien overtrof alle verwachtingen: ze maakte een app die echt werkt en waardoor ik nu films kan kijken!”

Met de tablet filmt Wouter de ondertitels. De app leest vervolgens de tekst voor via zijn Bluetooth-oortjes.

Een hobbelig parkoers

Dat wil niet zeggen dat alles zonder slag of stoot verliep. De opnames waren voor Wouter een hele belevenis: “In het begin was ik erg nerveus; al die camera’s op je gericht! Dat er geen kostuums of schmink aan te pas kwamen was goed. Het moest niet allemaal perfect zijn en dat hielp me wel wat ontspannen.”

In januari 2018 kwam Katrien een eerste keer langs bij Wouter. “We hebben toen veel gebabbeld. Ik vertelde Katrien wat ik graag wou en ik toonde haar hoe ik dingen zoek op het web, welke spelletjes ik speel, enzovoort”, zegt Wouter. Met Pasen had Katrien het eerste prototype klaar. Ze gebruikte de camera van een Surface-tablet om de ondertitels op het scherm te filmen via een app die ze zelf ontwikkelde. De software gebruikte een tak van artificiële intelligentie genaamd optical character recognition. Daarbij herkennen de algoritmes letters op een beeld. Zo las de toepassing de ondertitels in, die vervolgens werden voorgelezen met tekst-naar-spraak.

“Een succes kon je het niet echt noemen”, gaat Wouter verder. “Bij de film van de Simpsons werkte de software niet, bij de serie wel. Dat kwam blijkbaar omdat de ondertitels bij de film nogal gekarteld waren en daarom moeilijk te herkennen door de AI. Ik heb dat toen niet echt gezegd, maar eigenlijk oversteeg die eerste test al ver mijn verwachtingen. Bovendien was ik me er ook wel van bewust dat dit nog maar een test was en dat Katrien er nog verder aan ging sleutelen.”

Wouter en Katrien hebben bij de eerste ontmoeting vooral gepraat over de verwachtingen en over hoe Wouter omgaat met de computer.

Stiekem bezoek van Katrien

Na de eerste test ging Katrien terug aan de slag om de app te verbeteren. Daarvoor wou ze nog een keer testen op de tv van het gezin. Om de finale toepassing nog even geheim te houden voor Wouter, moest hij dus even uit het huis. “Ik wist daar dus niks van!” lacht Wouter. “Op de dag dat Katrien langskwam vroeg mijn papa of ik met hem een nieuwe videogame wou kopen… én of ik er om wou met de motor. Met dat laatste weet je dat je mij sowieso meekrijgt.”

Het stiekeme bezoek bleek goed voor de app die na de test perfect deed wat moest, maar minder voor Wouters zenuwen: “Sinds de eerste test had ik eigenlijk niet meer gehoord over het prototype. De onthulling moest uiteraard een verrassing zijn, maar dat ik niet wist wat er ging gebeuren maakte me wel wat nerveus!”

“Katrien overtrof alle verwachtingen: ze maakte een app die echt werkt en waardoor ik nu films kan kijken!”

Andere toepassingen

Naast de aparte toepassing die via de camera van de tablet werkt, maakte Katrien ook een plug-in voor de VRTNU-website. Bij de filmpjes voegt de openbare omroep een aparte datastroom voor de ondertitels. De plug-in van Katrien leest die data uit en stuurt ze door de tekst-naar-spraak-software. Zo kan Wouter ook op VRTNU eenvoudig video’s kijken. Dat bleek al handig voor zijn schoolwerk vertelt Wouter: “Ik mocht natuurlijk in de klas niet te veel verklappen, maar ik heb de software toch al kunnen gebruiken tijdens een opdracht over Amerika. Toevallig was er juist een reportage beschikbaar op VRTNU die ik dankzij Katriens plug-in kon volgen en gebruiken!”

En wat met de tweede Fantastic Beasts-film?

Wouter: “Wel, ik wist eigenlijk niet dat die er was tot iemand me erover verteld. Ik wou hem zeker zien… en dat is ondertussen ook gelukt! Door copyright is dat niet evident, want met de app van Katrien moet je filmen in de zaal. Toch heeft ze het voor elkaar gekregen. Ze kreeg toestemming van Fox, die de film produceert, en we zijn samen op mijn verjaardag gaan kijken. We kregen de tablet niet 100 procent goed geplaatst. Het resultaat was dus wat minder dan bij mij in de woonkamer, maar ik vond het toch een super ervaring. Uiteraard is het slechts een eenmalig iets. Ik hoop dat er in de toekomst een oplossing komt zodat ik ook naar de cinema kan. Bij deze: een warme oproep aan de Belgische cinema’s om daar eens over na te denken.”

Bij Katrien gaan alleszins de radartjes meteen aan de slag: “Als ze die ondertitels zoals bij de VRT-plug-in apart hebben, dan moet je zelfs je tablet niet bovenhalen. Dan zouden die data ook gewoon meteen naar een tekst-naar-spraak-software kunnen gaan en dan kan je daar misschien gewoon op inpikken met een headset.”

Wil je zelf aan de slag met de code van Katrien? Dat kan!

Veel mensen kunnen geholpen worden met de software die Katrien ontwikkelde voor Wouter. Daarom is de plug-in voor VRTNU voor iedereen beschikbaar. Ook de broncode van zowel de app als de plug-in is vrij te gebruiken. Wil je dus je eigen plug-in maken voor YouTube of andere mediastreamers met ondertitels? Dan kan dat!