Efficiënt werken met Big Data in Azure

Niels Lohuis

Je wilt hypothesis-driven development, agile testing en continuous learning. Je wilt vrijheid om te vernieuwen en succesvolle applicaties ontwikkelen binnen de gestelde deadline en budget. In deze serie over de voordelen van Azure Cloud Solutions geven 15 experts hun visie op de nieuwste ontwikkelingen in agile development en de voordelen van ontwikkelen op Azure Cloud. Dit keer is Data Solution Architect Murat Eken aan het woord.

Big data-oplossing

Wanneer je als ontwikkelaar een nieuw cluster bouwt voor je big data-oplossing, wil je deze het liefst meteen beschikbaar maken voor gebruikers. Vaak gaat er echter nog tijd overheen voordat je oplossing in gebruik wordt genomen, vanwege de aanzienlijke investeringen die nodig zijn voor een uitrol. Zeker als de applicatie in meerdere landen beschikbaar moet zijn. En zodra het aantal gebruikers groeit, begint het verhaal weer opnieuw omdat de infrastructuur uitgebreid moet worden. Binnen Azure heb je die problemen niet en kun je je nieuwe oplossing direct live zetten en testen.

Een half jaar lobbyen

Toen ik nog voor een andere werkgever werkte, kreeg ik de opdracht om een flexibele query engine te bouwen. Deze moest honderden miljoenen gebeurtenissen verzamelen uit verschillende bronnen. Response times moesten onder de seconde blijven, want de data moest real-time beschikbaar zijn. De technische kant van het verhaal was niet de grootste uitdaging: dankzij verschillende Open Source frameworks was de oplossing binnen een paar maanden gebouwd. Daarna kostte het me een half jaar om een business case voor de CFO te maken en hem ervan te overtuigen dat hij de benodigde hardware moest aanschaffen. Aangezien we vanuit meerdere datacenters werkten, spreken we het dan al snel over een capital expenditure van meer dan honderdduizend euro. Voor een oplossing die zijn waarde nog moet bewijzen. Uiteindelijk werd de oplossing in gebruik genomen, maar met een enorme vertraging en dus een langere time to market.

Bescherm je investering binnen Azure

Als we het project in Azure hadden uitgevoerd, hadden we de oplossing meteen live kunnen zetten. Binnen een paar clicks is de oplossing deployed en zie je hoe de markt erop reageert. Daar is dus geen grote investering voor nodig. Mocht het niet werken, dan zet je de applicatie weer uit. Echter, is het wél een succes en groeit het aantal gebruikers, dan schaalt de infrastructuur zonder moeite mee met de applicatie. Zo blijven de kosten variabel, afhankelijk van het gebruik. In de oude situatie had je dan opnieuw hardware moeten aanschaffen.

Snel deployen met HDInsight

Om het proces van het bouwen van je cluster tot deployment zo snel en soepel mogelijk te houden, is HDInsight in het leven geroepen. Met dit Hadoop-framework deploy je geoptimaliseerde Open Source clusters als Hadoop, Spark, HBase, Storm en Kafka in een hoog tempo. Hiermee blijven je response times laag en kun je meteen in de gaten houden hoe je oplossing het doet en welke toekomstige acties nodig zijn. Daarnaast is HDInsight voorzien van enterprise-grade security die onder meer single sign-on (SSO) en multi-factor authentication ondersteunt.


Wil je meer verdieping rondom dit onderwerp? Schrijf je in voor het on demand webinar “Van data naar inzichten met Azure”.

Leer van klantervaringen met het gratis Cloud Strategy eBook

Ontdek de bewezen methoden om je business in de cloud te brengen

Probeer Microsoft Azure gratis

Werk je volgende geweldige idee uit met Azure

Artikelen die jou wellicht interesseren:

Innoveren in je business

Nationale Opera en Ballet: Storingen oplossen voordat ze ontstaan