Overslaan naar hoofdinhoud
Pulse
Leestijd, 3 min.

Er wordt ontzettend veel data verzameld en dat wordt alleen maar meer, zoveel was me al duidelijk. Soms gestructureerd, maar vaak ook niet. We noemen het Big Data of advanced analytics en het staat verdeeld over enkele of zelfs honderden servers. Dat je met de juiste tooling verborgen schatten uit die data tevoorschijn kan toveren, haalde de avonturier in mij naar boven. Met een schatkaart in de vorm van een zoekmachine ging ik op zoek naar gereedschap.

Hoe moeilijk kan het zijn?

Al snel kwam ik erachter dat Hadoop en Big Data bijna onlosmakelijk met elkaar verbonden zijn. Mooi, want Hadoop wordt ondersteund op Microsoft Azure door middel van HDInsight. “Hoe moeilijk kan het zijn?”, dacht ik. Ik installeer simpelweg een Hadoop-cluster met de bijbehorende tools en ik kan aan de slag. Ik had er een middag voor ingeruimd. Mensen die dit ook hebben geprobeerd moeten nu waarschijnlijk lachen, want inderdaad: een Hadoop-cluster installeren, dat doe je niet even. Een Hadoop-cluster configureren en beheren? Dat is helemaal een verhaal apart.

Het kan natuurlijk aan mij liggen, maar ik vind Hadoop echt ontzettend complex. Nadat ik uitgevist had hoe de data gestructureerd was, moest het nog geprepareerd worden om een analyse te kunnen maken. Dat alles via scripting en de Command Line. Dat moet toch makkelijker kunnen, dacht ik zo. Als Microsoftie ben ik immers dol op interfaces ?

En ja, het kan dus inderdaad makkelijker, met Cloudera! Dit is een van de Hadoop-distributies die het leven een stuk eenvoudiger maken. Cloudera geeft mij een grafische interface om Hadoop heen, precies waar ik naar op zoek was. Je kunt het vergelijken met een grafische interface voor bijvoorbeeld Linux. Misschien vind je me nu een watje, maar ik hou ervan. Het mooie aan Cloudera is dat er automatisch een aantal tools worden bijgeleverd, die je anders zelf zou moeten installeren.

Cloudera Analysetools

Big Data kan van alles zijn en het kan overal staan. Dat is wat plat gezegd, maar waar het op neerkomt is dat het kan gaan om zowel gestructureerde data als ongestructureerde data, bijvoorbeeld zowel foto’s als tweets. En dan kan het ook nog eens op verschillende servers opgeslagen staan, met verschillende filesystems. Cloudera zorgt ervoor dat je hier niets van merkt. Het helpt je de data te structureren en biedt bovendien Hive, een tool om gestructureerde data te analyseren. De syntax van Hive lijkt veel op de query-taal SQL, die ik gelukkig wel kende. Het geeft me zelfs de mogelijkheid om mijn tabellen vanuit Cloudera naar SQL of MSAcces te importeren.

Bovendien kan ik op Cloudera met MapReduce alle typen data analyseren. Praktisch! Helaas kom ik er in de praktijk al snel achter, dat ik bij lange na niet genoeg ervaring met Java heb om hiermee aan de slag te kunnen. Zelfs voor de meest eenvoudige instructie is een flinke lap code nodig. Te veel om even aan de buurjongen te vragen. Gelukkig is er PiG, dat qua syntax op SQL lijkt. Het genereert MapReduce code, een buurjongen in toolvorm. PiG bevat uitgebreide datamanipulatie en -statistiekcommando’s, maar je kunt ook relatief eenvoudig gestructureerde data maken van semi-gestructureerde data. Met Hive analyseer je die vervolgens verder. Het heeft wel wat beperkingen ten opzichte van MapReduce, maar daar staat het tegenover dat het alle soorten data kan verwerken.

Met Hadoop en Cloudera, sta ik aan het begin van mijn data-avontuur. En het mooiste is dat het gewoon in de Azure Marketplace staat. Voor de echte liefhebbers is zelfs de Enterprise Data Hub editie in de Marketplace beschikbaar. Dankzij Cloudera was mijn Hadoop-omgeving écht up & running in een middagje. Ik ben benieuwd naar jouw ervaringen. Waar loop jij tegenaan? Laat het me weten in de comments!

Meer weten over Cloudera? De CTO van Cloudera legt alles uit over zijn bedrijf in dit interview:

Leer van klantervaringen met het gratis Cloud Strategy eBook

Ontdek de bewezen methoden om je business in de cloud te brengen

Ontdek meer gerelateerde artikelen per branche:

Educatie

  • HoloLens leerlingen | Video webinar Mixed Reality binnen het onderwijs

    Video webinar Mixed Reality binnen het onderwijs

    Introductie van Mixed Reality binnen het onderwijs Het concept van een Leven Lang Leren verandert in een snel tempo binnen de onderwijssector, en technologie speelt een fundamentele rol in deze transformatie. Met concepten zoals Mixed Reality ontstaan nieuwe manieren van lesgeven, die onderwijs een nieuwe vormgeven.   In de eerste sessie over Mixed Reality, georganiseerd […]

  • Webinar Microsoft Teams Phone

    Deployment van Microsoft telefonie (Teams Phone)

    Teams telefonie in het onderwijs Wil je nog voor de start van het nieuwe academisch jaar aan de slag met de uitrol van Teams telefonie? Op 7 juli van 15:00 – 16:00 uur deelt SURF hun ervaringen met dit platform en geeft een expert van Microsoft meer informatie over de blauwdruk van het deployment framework. […]

Financiële dienstverlening

Government

Overheid

Productie

Retail

  • Webinar-serie: de toekomst van de retailbranche

    Webinar-serie: de toekomst van de retailbranche

    Technologie is overal aanwezig. De digitale transformatie is in volle gang in alle bedrijven en alle branches. De verandering voltrekt zich in een hoog tempo en veel, zo niet alle, businessmodellen gaan hierdoor op de schop. Marktverstorende, vernieuwende retailbedrijven zijn de eerste organisaties die laten zien hoe de toekomst van retail eruitziet. Digitale transformatie Deze […]

  • Tell & Sell: wat is de volgende stap voor de winkel van morgen?

    Tell & Sell: wat is de volgende stap voor de winkel van morgen?

    In de loop van de geschiedenis zijn er twee factoren die ons winkelgedrag bepaald hebben: gemak en beleving. In 1796 opende Anthony Harding in Pall Mall in Londen de deuren van het eerste warenhuis in Europa. Voor het eerst konden klanten op één locatie van alles kopen, van juwelen tot klokken, terwijl ze tegelijkertijd anderen […]

Zorg

  • Hoe AI artsen en patiënten helpt in de strijd tegen kanker

    Hoe AI artsen en patiënten helpt in de strijd tegen kanker

    Fabian Bolin was slechts 28 jaar toen hij ontdekte dat hij leukemie had. Hij was een veelbelovend acteur, maar toen er kanker bij hem werd geconstateerd, kreeg hij het gevoel dat hij opeens de controle over zijn toekomst had verloren en dat niets hem kon helpen het te terug te krijgen. Hij is niet de […]

  • doctor holding surface laptop

    De impact van de 4e Industriële Revolutie op de gezondheidszorg

    Digital Twins. PowerBI. PaaS. SaaS. Virtual Machines. Cloud Adoption. Hybrid Cloud. HoloLens. Doen al deze termen je duizelen? Geen paniek. Bij Microsoft nemen we je graag mee op reis in deze 4e Industriële Revolutie. Grote dingen staan te gebeuren. Zeker voor ziekenhuizen.  Hoe dan?   Voordat je denkt ‘hoe krijg ik onze zorginstelling in hemelsnaam zo’n cloud […]

Ontdek meer gerelateerde artikelen per dossier:

Digitale transformatie

Klantverhalen

  • Startup Stories – ‘De zorg is geen speeltuin voor probeersels’

    Startup Stories – ‘De zorg is geen speeltuin voor probeersels’

    In Startup Stories delen we de verhalen, best practices, levenslessen van Nederlandse start en scaleups, zodat jij je apps of business nog sneller kunt bouwen. Dit keer zijn we in gesprek met Berend Jutte, co-founder van Attendi. Attendi is in 2021 genomineerd voor de Zorginnovatieprijs. “Wij zetten slimme technologie in om de medische administratie, zoals verslaglegging en documentatie, van […]

Partners

Pers

  • Een nieuw tijdperk van onderwijs voorstellen

    Een nieuw tijdperk van onderwijs voorstellen

    Terwijl de wereld blijft veranderen, hebben we gewerkt aan een oplossing om inclusief en toegankelijk leren voor iedereen te ondersteunen. Lees meer over Windows11 SE, een nieuwe, cloud-first Windows-editie die is ontworpen voor het onderwijs.

Pers / Nieuws

  • Intercept

    Intercept is Microsoft Country Partner Of The Year 2020

    Intercept is uitgeroepen tot Microsoft Country Partner of the Year 2020. Een prestigieuze prijs die uitsluitend wordt uitgereikt aan partners die zich onderscheiden in een vooraanstaand veld. Deze award is de bekroning op de jarenlange samenwerking tussen Intercept en Microsoft. Intercept wordt onder meer erkend voor het leveren van toonaangevende en waardevolle oplossingen voor ISV’s. […]

Security & Privacy

Tips

  • een vrouwen die thuis werkt achter een laptop

    Breng je personeelsbestand op afstand in topconditie

    Nederland werkt massaal thuis en dat blijven velen ook na COVID-19 waarschijnlijk doen. De snelle opkomst van AI, automation en data analytics verandert daarnaast de vraag naar type werk. Dit zijn maar een aantal ontwikkelingen waardoor je je HR-beleid over een andere boeg moet gooien. Wat zijn deze trends en hoe zorg je dat je […]

Webinars

  • een close-up van een logo

    Microsoft Power Platform Virtual Training Day

    The Microsoft Power Platform Virtual Training Day will cover everything you need to know about building and managing innovative business solutions. You’ll discover how to connect data to analyze real-time business performance, act on insights with custom-built apps, and automate workflows to improve how people work. All sessions were recorded at Microsoft Ignite in Orlando […]