Overslaan naar hoofdinhoud
Pulse
Leestijd, 3 min.

Er wordt ontzettend veel data verzameld en dat wordt alleen maar meer, zoveel was me al duidelijk. Soms gestructureerd, maar vaak ook niet. We noemen het Big Data of advanced analytics en het staat verdeeld over enkele of zelfs honderden servers. Dat je met de juiste tooling verborgen schatten uit die data tevoorschijn kan toveren, haalde de avonturier in mij naar boven. Met een schatkaart in de vorm van een zoekmachine ging ik op zoek naar gereedschap.

Hoe moeilijk kan het zijn?

Al snel kwam ik erachter dat Hadoop en Big Data bijna onlosmakelijk met elkaar verbonden zijn. Mooi, want Hadoop wordt ondersteund op Microsoft Azure door middel van HDInsight. “Hoe moeilijk kan het zijn?”, dacht ik. Ik installeer simpelweg een Hadoop-cluster met de bijbehorende tools en ik kan aan de slag. Ik had er een middag voor ingeruimd. Mensen die dit ook hebben geprobeerd moeten nu waarschijnlijk lachen, want inderdaad: een Hadoop-cluster installeren, dat doe je niet even. Een Hadoop-cluster configureren en beheren? Dat is helemaal een verhaal apart.

Het kan natuurlijk aan mij liggen, maar ik vind Hadoop echt ontzettend complex. Nadat ik uitgevist had hoe de data gestructureerd was, moest het nog geprepareerd worden om een analyse te kunnen maken. Dat alles via scripting en de Command Line. Dat moet toch makkelijker kunnen, dacht ik zo. Als Microsoftie ben ik immers dol op interfaces ?

En ja, het kan dus inderdaad makkelijker, met Cloudera! Dit is een van de Hadoop-distributies die het leven een stuk eenvoudiger maken. Cloudera geeft mij een grafische interface om Hadoop heen, precies waar ik naar op zoek was. Je kunt het vergelijken met een grafische interface voor bijvoorbeeld Linux. Misschien vind je me nu een watje, maar ik hou ervan. Het mooie aan Cloudera is dat er automatisch een aantal tools worden bijgeleverd, die je anders zelf zou moeten installeren.

Cloudera Analysetools

Big Data kan van alles zijn en het kan overal staan. Dat is wat plat gezegd, maar waar het op neerkomt is dat het kan gaan om zowel gestructureerde data als ongestructureerde data, bijvoorbeeld zowel foto’s als tweets. En dan kan het ook nog eens op verschillende servers opgeslagen staan, met verschillende filesystems. Cloudera zorgt ervoor dat je hier niets van merkt. Het helpt je de data te structureren en biedt bovendien Hive, een tool om gestructureerde data te analyseren. De syntax van Hive lijkt veel op de query-taal SQL, die ik gelukkig wel kende. Het geeft me zelfs de mogelijkheid om mijn tabellen vanuit Cloudera naar SQL of MSAcces te importeren.

Bovendien kan ik op Cloudera met MapReduce alle typen data analyseren. Praktisch! Helaas kom ik er in de praktijk al snel achter, dat ik bij lange na niet genoeg ervaring met Java heb om hiermee aan de slag te kunnen. Zelfs voor de meest eenvoudige instructie is een flinke lap code nodig. Te veel om even aan de buurjongen te vragen. Gelukkig is er PiG, dat qua syntax op SQL lijkt. Het genereert MapReduce code, een buurjongen in toolvorm. PiG bevat uitgebreide datamanipulatie en -statistiekcommando’s, maar je kunt ook relatief eenvoudig gestructureerde data maken van semi-gestructureerde data. Met Hive analyseer je die vervolgens verder. Het heeft wel wat beperkingen ten opzichte van MapReduce, maar daar staat het tegenover dat het alle soorten data kan verwerken.

Met Hadoop en Cloudera, sta ik aan het begin van mijn data-avontuur. En het mooiste is dat het gewoon in de Azure Marketplace staat. Voor de echte liefhebbers is zelfs de Enterprise Data Hub editie in de Marketplace beschikbaar. Dankzij Cloudera was mijn Hadoop-omgeving écht up & running in een middagje. Ik ben benieuwd naar jouw ervaringen. Waar loop jij tegenaan? Laat het me weten in de comments!

Meer weten over Cloudera? De CTO van Cloudera legt alles uit over zijn bedrijf in dit interview:

Leer van klantervaringen met het gratis Cloud Strategy eBook

Ontdek de bewezen methoden om je business in de cloud te brengen

Ontdek meer gerelateerde artikelen per branche:

Educatie

  • een bureau met een laptopcomputer die bovenop een houten lijst zit

    Migreren naar de cloud: 3 strategieën voor onderwijs en onderzoek

    Het onderwijs is enorm in beweging. Nieuwe lesmethoden, aandacht voor individueel leren, personeelskrapte en online lesgeven. Aan de andere kant heb je te maken met een grotere vraag aan de technische kant, zoals veiligheid en beschikbaarheid van ICT. Maar, gelukkig kan technologie ons bij veel van deze uitdagingen helpen. In deze blog vertellen we je […]

  • Toekomstbestendig examineren in het onderwijs

    Toekomstbestendig examineren in het onderwijs

    Veilig, snel en schaalbaar examineren in de praktijk Hoe zorg je dat jouw onderwijsinstelling voldoet aan de regelgeving rond digitaal toetsen? Je digitale omgeving moet uiteraard flexibel, schaalbaar en veilig zijn. Voor veel onderwijsinstellingen was de plotselinge omschakeling naar digitaal lesgeven een flinke uitdaging. In deze blog lees je de trends in het onderwijs en […]

Financiële dienstverlening

Government

Overheid

  • Small business team collaborating in modern workplace.

    Woningbouwcorporaties moeten zich aansluiten op de netwerksamenleving

    Woningbouwcorporaties staan voor enorme uitdagingen. De woningnood, het verduurzamen van alle gebouwen voor 2050 en de leefbaarheid optimaal houden los je niet op met traditionele principes. De technologie, processen en materialen zijn nu beschikbaar om meer te halen uit het huidige woningbestand. Daarvoor zullen de woningbouwcorporaties en hun ketenpartners wel meer datagedreven samen moeten werken. […]

  • Microsoft and Open Cloud for Research Environments

    Microsoft and Open Cloud for Research Environments

    Microsoft joins the OCRE framework to grant education and research institutions discounted Azure prices in the Netherlands and across 40 European countries. Microsoft announces the immediate availability of Microsoft Azure through the pan-European OCRE (Open Clouds for Research Environments) framework. In the Netherlands Microsoft Azure is provided by SURF in collaboration with Microsoft Partner Bechtle, […]

Productie

Retail

Zorg

Ontdek meer gerelateerde artikelen per dossier:

Digitale transformatie

Klantverhalen

  • BDO: nieuwe perspectieven op de toekomst

    BDO: nieuwe perspectieven op de toekomst

    Organisaties ondersteunen bij de uitdagingen waar zij mee te maken krijgen; dat is waar Microsoft graag een rol in speelt. We leven in een dynamische wereld en er vinden continu veranderingen plaats. Om jou te inspireren laten wij verhalen zien van andere organisaties en hoe zij met deze veranderingen omgaan. Nieuwe perspectieven bieden is het […]

Partners

  • Drie redenen waarom BIM Cloud Workspace jouw bouwbedrijf op voorsprong zet

    Drie redenen waarom BIM Cloud Workspace jouw bouwbedrijf op voorsprong zet

    Ik vertel je niets nieuws als ik zeg dat veel bouwbedrijven een uitdaging hebben op het gebied van hun applicatielandschap. Bedrijven die zich bezighouden met bijvoorbeeld het ontwerp van gebouwen of tunnels maken nou eenmaal gebruik van applicaties die veel (grafische) rekenkracht eisen van hun computersystemen. Dus zien we nog steeds BIM-modelleurs slepen met zware […]

Pers

  • Een nieuw tijdperk van onderwijs voorstellen

    Een nieuw tijdperk van onderwijs voorstellen

    Terwijl de wereld blijft veranderen, hebben we gewerkt aan een oplossing om inclusief en toegankelijk leren voor iedereen te ondersteunen. Lees meer over Windows11 SE, een nieuwe, cloud-first Windows-editie die is ontworpen voor het onderwijs.

Pers / Nieuws

  • een man met een hololens

    Verandering in een stroomversnelling

    De eerste fase van de COVID-19-uitbraak stond vooral in het teken van snelle oplossingen en crisismanagement om de dagelijkse gang van zaken in goede banen te leiden. Nu gaan we over naar een nieuwe fase, een hybride realiteit, waarin we zowel thuis als op locatie werken. Een tijd waarin verzorgingstehuizen weer voorzichtig opengaan en bedrijven […]

Security & Privacy

Tips

  • Twee vrouwen en één man brainstormen in een informele kantooromgeving. De vrouwen gebruiken laptops en de man schrijft met de hand. Op de achtergrond staat een groot scherm.

    Moderne verkooptrends voor 2019 in 5 webinars

    De relatie tussen kopers en verkopers wordt elke dag ingewikkelder. Voor elk potentieel partnerschap moet de juiste koper worden gevonden, kennis over hun bedrijf worden verzameld, de voortgang in de koopcyclus worden bijgehouden en de juiste content worden aangeboden, wanneer en hoe ze dat willen. Deze veranderingen in dynamiek onderstrepen het belang van moderne verkoop. […]

Webinars

  • Webinar-serie: de toekomst van de retailbranche

    Webinar-serie: de toekomst van de retailbranche

    Technologie is overal aanwezig. De digitale transformatie is in volle gang in alle bedrijven en alle branches. De verandering voltrekt zich in een hoog tempo en veel, zo niet alle, businessmodellen gaan hierdoor op de schop. Marktverstorende, vernieuwende retailbedrijven zijn de eerste organisaties die laten zien hoe de toekomst van retail eruitziet. Digitale transformatie Deze […]