Monique houdt haar herinneringen levend dankzij AI en een smartphone

Monique is een levensgenieter. Ze is de trotse mama van Robin, auteur en voorzitster van haar eigen VZW Graag Zien, waarvoor ze regelmatig lezingen geeft. Monique fotografeert dolgraag om vervolgens de leukste kiekjes op Instagram te zetten. Maar dat is niet zo eenvoudig want Monique is intussen dertig jaar blind. Ze heeft heel wat visuele herinneringen van vroeger. Alleen merkt ze de laatste tijd dat ze elk jaar een beetje vager worden. In het dagelijks leven botst ze op praktische problemen. Als ze lezingen geeft bijvoorbeeld, is het een uitdaging om haar presentatie recht te projecteren met een beamer. Om die reden vroeg ze hulp aan het Canvas-programma Team Scheire. Microsoft-maker Katrien De Graeve interpreteerde de vraag breed en ontwikkelde een beeldherkenningsapp gekoppeld aan artificiële intelligentie (AI).

Voor ik het wist stond Lieven Scheire in mijn living

Monique schreef een brief met de vraag of er een oplossing was om automatisch een beamer recht te zetten aan de ‘makers’. Om haar verhaal te kaderen vertelde ze over haar liefde voor fotografie. “Ik liet vallen dat ik wat hulp kon gebruiken bij het nemen en kiezen van foto’s. Het was een bijvraag, en ik verwachtte niet echt dat ze er rekening mee zouden houden”, vertelt Monique. “Het leek me te moeilijk om op te lossen. Mijn vraag was vooral een persoonlijk verlangen. Ik ging ervan uit dat er wel belangrijkere dingen waren dan mij helpen bij het kiezen van een foto of een beamer rechtzetten. Hoewel ik regelmatig een update kreeg, had ik eigenlijk totaal niet verwacht dat mijn vraag door Team Scheire zou behandeld worden”.

“Ik had het losgelaten en wie mij een beetje kent weet dat ik dat niet zo snel doe”, lacht ze. “Plots ging het zeer snel. Ik kreeg te horen dat ze mijn vraag hadden uitgekozen en eind maart stonden Lieven Scheire, de presentator van Team Scheire, en Microsoft-maker Katrien ineens in mijn living met een cameraploeg. Vier maanden later stonden ze voor mijn deur met de afgewerkte app. Heel overweldigend allemaal, maar het was ook supertof en interessant om te doen!”

“Mijn oorspronkelijke vraag was gewoon om een beamer recht te zetten, maar uiteindelijk betekent de app die Katrien maakte zo veel meer voor mij.” Monique

© VRT / Sputnik Media.

AI helpt Monique foto’s nemen en selecteren

Maker Katrien bouwde bovenop Seeing AI, een bestaande app met beeldherkenning voor slechtzienden van Microsoft, een gepersonaliseerde versie voor Monique. Een hele klus die ze tot een goed einde bracht met de hulp van haar collega’s Nick Trogh en Jan Tielens. De app analyseert met een AI-algoritme het beeld van de smartphonecamera en zegt luidop wat het herkent in de omgeving. Dankzij Katrien kan de applicatie dat beeld ook fotograferen. Daarnaast werd de lichtmeter aangepast zodat de app zegt of je in tegenlicht staat of niet en trilt de smartphone als je de camera schuin houdt. “Het lijkt iets kleins, maar toen Katrien de trilfunctie toonde werd ik helemaal happy”, zegt Monique met een grote glimlach. “Ik kan ook specifieke personen, zoals mijn zoon Robin, toevoegen zodat ze herkend worden. En de klap op de vuurpijl: Katrien bouwde een apart algoritme dat mijn blindengeleidepaardje Dinky herkent!”

Een liefde voor foto’s, met een visuele beperking

Moniques tweede naam zou gerust ‘bezige bij’ kunnen zijn. Voor haar VZW Graag Zien, werkt ze aan positieve beeldvorming van mensen met een beperking. Ze schreef ook het gelijknamige boek ‘Graag zien! Blinde mama, sterke vrouw’. Tijdens lezingen over het onderwerp gebruikt ze graag foto’s. Ze zelf selecteren, of laat staan maken, was voor haar zo goed als onmogelijk. “Je wilt een verhaal vertellen en dat is zo veel sterker met foto’s. Voor mij is ‘een beeld zegt meer dan duizend woorden’ geen cliché, ik geloof dat rotsvast.”

“Bovendien hou ik van Instagram. Tegenwoordig heeft quasi iedereen er een profiel en wanneer ik zelf post, voel ik mij meer verbonden met de wereld. Vroeger moest ik aan iemand vragen om de foto te omschrijven zodat ik die, op basis van wat zij me vertelden, een titel kon geven dat mijn pc dan voorlas. Dat lukte, maar erg vlot was dat allemaal niet.

Over de pingpongbal en de appelboom

Monique vindt het prototype – de app is nog niet helemaal af – een mooie start: “Ik kan nu zelf foto’s nemen en een eerste selectie maken. Af en toe overleg ik nog even of de afbeelding goed is. Dat bespaart een aantal stappen. Dat Katrien luistert naar mijn feedback en aan de app blijft werken, ook na de opnames, vind ik geweldig. Wie weet kan het ooit meer dan een prototype worden.”

Aangezien het AI-algoritme nog volop aan het bijleren is, zorgt de app af en toe voor hilariteit: “Niet zolang geleden ging ik op café met vrienden tijdens het WK voetbal. Ik keek rond met de app en plots liet die me weten dat het een scherm en een pingpongbal zag. Verwarring alom, want een pingpongtafel was in de verste verte niet te bespeuren. Plots drong het tot ons door dat de app de verkleinde voetbal op het tv-scherm als pingpongballetje had geïnterpreteerd. Toen lagen we toch wel even in een deuk. Net zoals die keer toen het mijn appelboom als een Granny Smith-appel labelde. Bijna correct, maar vooral heel grappig.”

De app vraagt toch wat oefening

Niet alleen algoritmes moeten gaandeweg bijleren, ook Monique moest zich aanpassen aan de app. “In het begin moest ik heel wat onthouden. Ik ben geen technologiekenner, eerder een huisvrouw die graag met technologie speelt. Mijn mond valt regelmatig open als ik zie wat jongeren met een visuele beperking allemaal doen met technologie. Ondertussen heb ik voldoende kunnen oefenen en leer ik trucjes om de app beter te gebruiken, bijvoorbeeld bij het interpreteren van de audio-omschrijvingen “, legt Monique uit. “Als ik bijvoorbeeld een selfie neem, zou de app me moeten herkennen. Dat gebeurt niet altijd en dan zegt de app dat het gewoon een gezicht ziet. Een foutje in de software denk je dan, maar ondertussen heb ik geleerd dat mijn gezicht dan gewoon niet goed in beeld is. Zo weet ik dus dat ik de camera wat moet verplaatsen.”

“In een rumoerige omgeving zoals dat WK-café zijn de audio-omschrijvingen, zelfs op maximaal volume, niet altijd verstaanbaar. Dat probleem los ik nu op door Bluetooth-oortjes te gebruiken. Toen het offline-versie van de app nog niet volledig vertaald was, leerde ik soms zelfs wat Engels bij! De app zei constant dat hij een tabby zag. Ik had geen flauw idee wat hij daar mee bedoelde tot iemand me zei dat dat het Engels woord is voor een streepjeskat.”

“Net zoals de herkenningsalgoritmes voortdurend worden getraind, worden ook mijn herinneringen telkens verbeterd.” Monique

De app geeft Moniques herinneringen terug kleur

“Mijn oorspronkelijke vraag was gewoon om een beamer recht te zetten, maar uiteindelijk betekent de app die Katrien maakte zo veel meer voor mij. In de maanden voor de opnames van Team Scheire en het maken van de app had ik het best moeilijk. Ik voelde dat mijn visuele herinneringen wegglipten. Die zijn voor mij zo kostbaar. Je zou denken dat een app daarbij niet kan helpen, maar dat doet het toch. Dankzij de app die Katrien maakte, krijg ik terug een beter idee van alles rondom mij. De beelden in mijn hoofd worden aangewakkerd en alles krijgt precies terug meer vorm en kleur. Net zoals de herkenningsalgoritmes voortdurend worden getraind, worden ook mijn herinneringen telkens verbeterd. Ik had nooit gedacht dat een smartphonetoepassing daarbij kon helpen.”

**

Heb je zelf interesse voor het prototype van Monique?

We hebben voor Monique een speciaal prototype ontwikkeld op basis van een bestaande Microsoft-app voor slechtzienden: Seeing AI. Zoals je hierboven kunt lezen, neemt Monique dankzij de app en Team Scheire nu onafhankelijker (goede) foto’s. Moniques prototype is een gepersonaliseerde versie die onder andere haar blindengeleide paardje Dinky herkent. Dat is dan ook de reden waarom deze versie niet publiek beschikbaar is. Maar we hebben toch goed nieuws. De huidige versie van Seeing AI biedt een aantal functies die gelijkaardig zijn aan wat Monique gebruikt, zoals:

1. ‘Browse Photos’: een nieuwe functie vanaf versie 2.3.1. Dit laat je toe naar je fotogalerij te gaan om foto per foto te horen wat erop staat afgebeeld.
2. ‘Light’ of lichtmeter: zorgt ervoor dat er geen grote contrasten zijn met fel licht achter het onderwerp bijvoorbeeld.
3. ‘Person’: hier hoor je in real time hoeveel gezichten op het scherm zichtbaar zijn. Via de menu kan je de app zodanig trainen dat die gezichten van vrienden en familie herkent.
4. ‘Scene’: hier hoor je wat je juist gefotografeerd hebt. Het is tevens mogelijk om die foto’s rechtstreeks te delen op sociale media.

We hebben alle ontwikkelingen van het prototype gedeeld met onze collega’s van het Seeing AI-team. Of en wanneer zij deze aanpassingen kunnen toevoegen is nog niet bekend.