Overslaan naar hoofdinhoud
Pulse
Leestijd, 3 min.

Er wordt ontzettend veel data verzameld en dat wordt alleen maar meer, zoveel was me al duidelijk. Soms gestructureerd, maar vaak ook niet. We noemen het Big Data of advanced analytics en het staat verdeeld over enkele of zelfs honderden servers. Dat je met de juiste tooling verborgen schatten uit die data tevoorschijn kan toveren, haalde de avonturier in mij naar boven. Met een schatkaart in de vorm van een zoekmachine ging ik op zoek naar gereedschap.

Hoe moeilijk kan het zijn?

Al snel kwam ik erachter dat Hadoop en Big Data bijna onlosmakelijk met elkaar verbonden zijn. Mooi, want Hadoop wordt ondersteund op Microsoft Azure door middel van HDInsight. “Hoe moeilijk kan het zijn?”, dacht ik. Ik installeer simpelweg een Hadoop-cluster met de bijbehorende tools en ik kan aan de slag. Ik had er een middag voor ingeruimd. Mensen die dit ook hebben geprobeerd moeten nu waarschijnlijk lachen, want inderdaad: een Hadoop-cluster installeren, dat doe je niet even. Een Hadoop-cluster configureren en beheren? Dat is helemaal een verhaal apart.

Het kan natuurlijk aan mij liggen, maar ik vind Hadoop echt ontzettend complex. Nadat ik uitgevist had hoe de data gestructureerd was, moest het nog geprepareerd worden om een analyse te kunnen maken. Dat alles via scripting en de Command Line. Dat moet toch makkelijker kunnen, dacht ik zo. Als Microsoftie ben ik immers dol op interfaces ?

En ja, het kan dus inderdaad makkelijker, met Cloudera! Dit is een van de Hadoop-distributies die het leven een stuk eenvoudiger maken. Cloudera geeft mij een grafische interface om Hadoop heen, precies waar ik naar op zoek was. Je kunt het vergelijken met een grafische interface voor bijvoorbeeld Linux. Misschien vind je me nu een watje, maar ik hou ervan. Het mooie aan Cloudera is dat er automatisch een aantal tools worden bijgeleverd, die je anders zelf zou moeten installeren.

Cloudera Analysetools

Big Data kan van alles zijn en het kan overal staan. Dat is wat plat gezegd, maar waar het op neerkomt is dat het kan gaan om zowel gestructureerde data als ongestructureerde data, bijvoorbeeld zowel foto’s als tweets. En dan kan het ook nog eens op verschillende servers opgeslagen staan, met verschillende filesystems. Cloudera zorgt ervoor dat je hier niets van merkt. Het helpt je de data te structureren en biedt bovendien Hive, een tool om gestructureerde data te analyseren. De syntax van Hive lijkt veel op de query-taal SQL, die ik gelukkig wel kende. Het geeft me zelfs de mogelijkheid om mijn tabellen vanuit Cloudera naar SQL of MSAcces te importeren.

Bovendien kan ik op Cloudera met MapReduce alle typen data analyseren. Praktisch! Helaas kom ik er in de praktijk al snel achter, dat ik bij lange na niet genoeg ervaring met Java heb om hiermee aan de slag te kunnen. Zelfs voor de meest eenvoudige instructie is een flinke lap code nodig. Te veel om even aan de buurjongen te vragen. Gelukkig is er PiG, dat qua syntax op SQL lijkt. Het genereert MapReduce code, een buurjongen in toolvorm. PiG bevat uitgebreide datamanipulatie en -statistiekcommando’s, maar je kunt ook relatief eenvoudig gestructureerde data maken van semi-gestructureerde data. Met Hive analyseer je die vervolgens verder. Het heeft wel wat beperkingen ten opzichte van MapReduce, maar daar staat het tegenover dat het alle soorten data kan verwerken.

Met Hadoop en Cloudera, sta ik aan het begin van mijn data-avontuur. En het mooiste is dat het gewoon in de Azure Marketplace staat. Voor de echte liefhebbers is zelfs de Enterprise Data Hub editie in de Marketplace beschikbaar. Dankzij Cloudera was mijn Hadoop-omgeving écht up & running in een middagje. Ik ben benieuwd naar jouw ervaringen. Waar loop jij tegenaan? Laat het me weten in de comments!

Meer weten over Cloudera? De CTO van Cloudera legt alles uit over zijn bedrijf in dit interview:

Leer van klantervaringen met het gratis Cloud Strategy eBook

Ontdek de bewezen methoden om je business in de cloud te brengen

Educatie

Finance

  • uitzicht op een stad

    Gegevens verzamelen is water besparen

    Het ruim 140 jaar oude financiële dienstverleningsbedrijf Ibercaja zet zich volledig in voor de noordoostelijke regio van Spanje. Om de klanten op het platteland te steunen en de lokale problemen met waterschaarste op te lossen, helpt het bedrijf de boeren nu met de digitale transformatie van hun gewasbeheer. Essentieel in deze transformatie zijn de Internet […]

  • overleg op kantoor tussen twee vrouwen

    Snellere productinnovatie dankzij cloud HPC

    Snel, sneller snelst is het adagium bij productinnovatie in de hightechsector. Producten hebben een steeds kortere levensduur en moeten rap na introductie alweer opgevolgd worden door superieure exemplaren. “Om in de race met de concurrentie voorop te lopen, moeten de research and development-afdelingen ongehinderd modellen kunnen doorrekenen. Vaak worden ze beperkt in hun mogelijkheden door […]

Government

  • een close-up van een mens in glazen die de camera bekijkt

    Een gestroomlijnd, toegankelijk en digitaal rechtssysteem voor iedereen

    Nederland is een moderne, gedigitaliseerde netwerksamenleving. Digitaal samenwerken, direct en laagdrempelig toegang tot gegevens, instanties en personen zijn de norm. Het rechtssysteem verandert hierin mee en vindt steeds beter de digitale aansluiting met burgers, advocaten en rechters. Wij kunnen daarbij helpen om de rol van toegankelijke probleemoplosser verder te versterken en data in te zetten […]

  • Vrouw met telefoon en Surface in een kantoorgebouw

    Smart cities zijn aantrekkelijker, groener en veiliger

    De wereld urbaniseert in een stormachtig tempo, in 2050 woont naar schatting bijna 70 procent van de wereldbevolking in de stad. Het beheer en bestuur van steden met traditionele middelen en processen wordt door de snelle urbanisatie complex en duur. Een Smart City is dankzij de inzet van data veilig, groen, rendabel, aantrekkelijk en toekomstbestendig. […]

Manufacturing

Retail

Zorg

  • een meisjeszitting op een lijst

    Gezondheidszorg vanuit huis

    De afgelopen weken heeft de wereld een steile leercurve doorgemaakt wanneer het gaat om gezondheidszorg op afstand. Maar wat kunnen we nu leren van degenen die al enige tijd op afstand voor hun patiënten zorgen? We nemen een kijkje in de wereld van gezondheidszorg vanuit huis. Voor een derde van de Europeanen die een chronische […]

  • Een vrouw die een scan krijgt

    Predictive maintenance verbetert de levenskwaliteit van kankerpatiënten

    Ruim 17 miljoen mensen worden jaarlijks getroffen door kanker en dat aantal zal alleen maar toenemen in de komende jaren. Daarom zijn efficiënte en voordelige behandelingen van levensbelang. Dankzij Microsoft Azure IoT heeft IBA Worldwide, een vooraanstaande ontwikkelaar van medische apparatuur voor de behandeling van kanker, de onderhoudskosten van de apparaten weten te verlagen en […]