Analyseer data met onbeperkte resources

Ruben Pool

Voor vrijwel alle bedrijven wordt data steeds belangrijker. Ze verzamelen steeds meer data. Maar veel bedrijven zijn zoekende bij het daadwerkelijk toepassen van deze data, bijvoorbeeld om keuzes over de bedrijfsvoering op te baseren. Daarvoor is het noodzakelijk de data te onderzoeken en rapporten te draaien. Hierbij heeft iedereen, zowel data-analisten bij bedrijven als wetenschappelijke onderzoekers, te maken met vergelijkbare obstakels: de beperkingen van de technologie en de hardware. Stel dat je deze beperkingen niet hebt? Stel je onbeperkte resources voor, tegen inzichtelijke en controleerbare kosten. Een droomscenario, zowel voor de wetenschap als voor het bedrijfsleven. Maar het bestaat.

Het kan met Azure Batch. Dit is een nieuwe, gratis dienst van Microsoft die je helpt het maximale potentieel van de cloud in te zetten voor jouw doeleinden. Ik merk dat het voor veel van mijn klanten nog moeilijk voor te stellen is hoe ze het potentieel van de cloud optimaal kunnen benutten. Daarom leg ik het altijd als volgt uit:  Als je je computer een taak laat uitvoeren, bijvoorbeeld een berekening, dan heeft je computer daar een bepaalde tijd voor nodig. Azure Batch stelt je in staat om die taak over meerdere virtuele computers te verdelen, wat de verwerkingstijd drastisch verlaagt.

Tijd is geen beperking meer

Bij het werken met data ben je doorgaans gedwongen bepaalde keuzes te maken. Die keuzes beïnvloeden aan de ene kant hoe compleet en betrouwbaar je onderzoek is. Aan de andere kant beïnvloedt het ook de tijdsduur. Als de duur van de verwerking geen beperking meer is, worden de mogelijkheden van je data-onderzoek gigantisch uitgebreid. Daarnaast is het ook nog kostenefficiënt. Je betaalt namelijk alleen voor wat je gebruikt. Heb je voor je onderzoek gedurende één dag de rekenkracht van 100 computerkernen (CPU’s) nodig, maar de rest van tijd slechts van vijf CPU’s, dan betaal je alleen die ene dag voor de inzet van de additionele 95 CPU’s.

Jij bepaalt

Daarbij komt dat Azure Batch je werk uit handen kan nemen door jouw opdracht te automatiseren. Je geeft het systeem de opdracht met een bepaalde taak aan de slag te gaan, op basis van vooraf bepaalde parameters. Je kunt op dit moment zelf bepalen hoe je wilt dat dit uitgevoerd wordt. Wil je maximale rekenkracht en een korte verwerkingstijd of mag het ook wat langer duren tegen een lagere prijs? Wat je keuze ook is, aan de hand van de opdracht maakt Azure Batch zelf het aantal virtual machines (VM’s) aan om jouw taak te verwerken. Bovendien maakt Azure Batch met een aantal dashboards inzichtelijk wat er gebeurt. Dat maakt het proces tastbaar en zorgt ervoor dat de voortgang makkelijk te monitoren is. Dit wil overigens niet zeggen dat je zelf geen inspraak in de werking hebt. Wil je alle code zelf schrijven dan is dat ook mogelijk.

Flexibiliteit is het codewoord

• Je kunt het complete potentieel van Azure (Microsoft’s cloud-oplossing) inzetten. Dit beheer je via een webapplicatie. Zelf aanschaffen, onderhouden en up to date houden van dure apparatuur is dus niet meer nodig.
• Door de inzet van de mogelijkheden van Azure kun je tijd besparen. Niet alleen maakt dit je data-onderzoek beter te controleren, ook wordt de foutmarge veel kleiner. Als er een fout in je code blijkt te zitten dat de resultaten negatief beïnvloedt, dan kom je daar in een vroeg stadium achter. Met andere woorden: liever na een uur ontdekken dat je data niet matchen, dan na vier weken.
• Er is een grote diversiteit aan systemen mogelijk op Azure. Werk je liever op Linux of gebruik je allerlei andere open source-systemen? Die keuzes heb je zelf in de hand. • De schaalbaarheid werkt in je voordeel. Keuzes over snelheid, tijdsduur en kosten maak je zelf en kun je op elk moment aanpassen.
• Je kunt het zo simpel (of complex) maken als je zelf wilt. Automatiseer processen naar hartelust, maar schrijf alle code zelf. De keuze ligt bij jou.

• Hou de kosten onder controle doordat deze altijd inzichtelijk zijn. Je betaalt alleen voor wat je gebruikt. Azure Batch is een extra service die Microsoft gratis aanbiedt bij het gebruik van Azure.

Ben je benieuwd hoe andere organisaties Azure Batch gebruiken? Kijk hier voor The Ocean Cleanup en hier voor Universiteit Twente.

Leer van klantervaringen met het gratis Cloud Strategy eBook

Ontdek de bewezen methoden om je business in de cloud te brengen

Probeer Microsoft Azure gratis

Werk je volgende geweldige idee uit met Azure

Artikelen die jou wellicht interesseren:

Innoveren in je business

Betrouwbare dataverwerking met Azure IoT Hub