Overslaan naar hoofdinhoud
Pulse
Leestijd, 3 min.

Er wordt ontzettend veel data verzameld en dat wordt alleen maar meer, zoveel was me al duidelijk. Soms gestructureerd, maar vaak ook niet. We noemen het Big Data of advanced analytics en het staat verdeeld over enkele of zelfs honderden servers. Dat je met de juiste tooling verborgen schatten uit die data tevoorschijn kan toveren, haalde de avonturier in mij naar boven. Met een schatkaart in de vorm van een zoekmachine ging ik op zoek naar gereedschap.

Hoe moeilijk kan het zijn?

Al snel kwam ik erachter dat Hadoop en Big Data bijna onlosmakelijk met elkaar verbonden zijn. Mooi, want Hadoop wordt ondersteund op Microsoft Azure door middel van HDInsight. “Hoe moeilijk kan het zijn?”, dacht ik. Ik installeer simpelweg een Hadoop-cluster met de bijbehorende tools en ik kan aan de slag. Ik had er een middag voor ingeruimd. Mensen die dit ook hebben geprobeerd moeten nu waarschijnlijk lachen, want inderdaad: een Hadoop-cluster installeren, dat doe je niet even. Een Hadoop-cluster configureren en beheren? Dat is helemaal een verhaal apart.

Het kan natuurlijk aan mij liggen, maar ik vind Hadoop echt ontzettend complex. Nadat ik uitgevist had hoe de data gestructureerd was, moest het nog geprepareerd worden om een analyse te kunnen maken. Dat alles via scripting en de Command Line. Dat moet toch makkelijker kunnen, dacht ik zo. Als Microsoftie ben ik immers dol op interfaces ?

En ja, het kan dus inderdaad makkelijker, met Cloudera! Dit is een van de Hadoop-distributies die het leven een stuk eenvoudiger maken. Cloudera geeft mij een grafische interface om Hadoop heen, precies waar ik naar op zoek was. Je kunt het vergelijken met een grafische interface voor bijvoorbeeld Linux. Misschien vind je me nu een watje, maar ik hou ervan. Het mooie aan Cloudera is dat er automatisch een aantal tools worden bijgeleverd, die je anders zelf zou moeten installeren.

Cloudera Analysetools

Big Data kan van alles zijn en het kan overal staan. Dat is wat plat gezegd, maar waar het op neerkomt is dat het kan gaan om zowel gestructureerde data als ongestructureerde data, bijvoorbeeld zowel foto’s als tweets. En dan kan het ook nog eens op verschillende servers opgeslagen staan, met verschillende filesystems. Cloudera zorgt ervoor dat je hier niets van merkt. Het helpt je de data te structureren en biedt bovendien Hive, een tool om gestructureerde data te analyseren. De syntax van Hive lijkt veel op de query-taal SQL, die ik gelukkig wel kende. Het geeft me zelfs de mogelijkheid om mijn tabellen vanuit Cloudera naar SQL of MSAcces te importeren.

Bovendien kan ik op Cloudera met MapReduce alle typen data analyseren. Praktisch! Helaas kom ik er in de praktijk al snel achter, dat ik bij lange na niet genoeg ervaring met Java heb om hiermee aan de slag te kunnen. Zelfs voor de meest eenvoudige instructie is een flinke lap code nodig. Te veel om even aan de buurjongen te vragen. Gelukkig is er PiG, dat qua syntax op SQL lijkt. Het genereert MapReduce code, een buurjongen in toolvorm. PiG bevat uitgebreide datamanipulatie en -statistiekcommando’s, maar je kunt ook relatief eenvoudig gestructureerde data maken van semi-gestructureerde data. Met Hive analyseer je die vervolgens verder. Het heeft wel wat beperkingen ten opzichte van MapReduce, maar daar staat het tegenover dat het alle soorten data kan verwerken.

Met Hadoop en Cloudera, sta ik aan het begin van mijn data-avontuur. En het mooiste is dat het gewoon in de Azure Marketplace staat. Voor de echte liefhebbers is zelfs de Enterprise Data Hub editie in de Marketplace beschikbaar. Dankzij Cloudera was mijn Hadoop-omgeving écht up & running in een middagje. Ik ben benieuwd naar jouw ervaringen. Waar loop jij tegenaan? Laat het me weten in de comments!

Meer weten over Cloudera? De CTO van Cloudera legt alles uit over zijn bedrijf in dit interview:

Leer van klantervaringen met het gratis Cloud Strategy eBook

Ontdek de bewezen methoden om je business in de cloud te brengen

Ontdek meer gerelateerde artikelen per branche:

Educatie

Financiële dienstverlening

Government

Overheid

  • Twee mensen gebruiken Surface Go op kantoor

    Hoe technologie het werk van overheden transformeert

    Overheden hebben de ultieme verantwoordelijkheid voor hun burgers. Mensen zijn afhankelijker van de diensten van overheidsinstellingen dan van welke andere instellingen ook. Of het nu gaat om gezondheidszorg, onderwijs, bedrijfsleven, weg- en waterbeheer; overheidsinstellingen moeten altijd vooroplopen bij sociale en digitale trends. Cloudtechnologieën spelen een belangrijke rol in het helpen van overheidsinstellingen om de manier […]

  • A skyscraper in a city

    De ‘Gov Pod’-serie: Microsoft in Government

    Ontdek hoe cloud computing, opkomende technologieën en blockchain het leven van werknemers en burgers kunnen verbeteren.

Productie

  • Snel reageren op veranderingen in de markt is moeilijk maar broodnodig

    Snel reageren op veranderingen in de markt is moeilijk maar broodnodig

    Ondernemers ondersteunen in hun business-uitdagingen; dat is waar Microsoft en haar partners graag een rol in spelen. De ambities en passies van ondernemers vormen de basis van verhalen die wij hier graag met jou delen. Hiermee willen wij jou inspireren en laten zien hoe technische oplossingen ondernemers helpen om alle elementen in hun bedrijf te […]

  • een moderne keuken met roestvrijstalen apparatuur

    De Europese staalsector steelt de show met AI

    Je hebt net honderden euro’s uitgegeven aan een nieuwe koelkast. Een grote investering, tot stand gekomen na maanden van diepgaand onderzoek en het vinden van het juiste product voor de juiste prijs. Maar al na een paar weken zijn de stalen deurscharnieren kapot. Boos plaats je een bericht op social media en kom je erachter […]

Retail

Zorg

Ontdek meer gerelateerde artikelen per dossier:

Digitale transformatie

  • Van start-up tot scale-up: de levenscyclus van ondernemingen

    Van start-up tot scale-up: de levenscyclus van ondernemingen

    Niels Lohuis (Product Marketing Manager Microsoft Nederland) gaat in gesprek met verschillende ondernemers over ‘technologie als groeiversneller voor ondernemers’. In deel I praat hij met Enno Masurel. Een groter pand, nieuwe producten of diensten, (meer) mensen in dienst nemen, innoveren, nieuwe verkooppunten openen, misschien wel wereldwijd… Groeien houdt voor iedere ondernemer weer iets anders in. […]

Klantverhalen

  • De beste koffie haal je uit de cloud

    De beste koffie haal je uit de cloud

    Koffie is tegenwoordig heel ingewikkeld. Het is allang niet meer even snel een kopje ‘instant’ in de ochtend, waar we ooit tevreden mee waren. Koffie is een levendige cultuur, compleet met steeds hogere verwachtingen van consumenten. Of koffieconcerns hieraan kunnen voldoen, bepaalt of ze ten onder gaan of bloeien in een branche waarin je laatste […]

Partners

  • Three ways BIM Cloud Workspace will give your construction company a competitive advantage

    Three ways BIM Cloud Workspace will give your construction company a competitive advantage

    It should come as no surprise that many construction companies encounter various challenges in terms of their application landscape. Companies that are involved in the design of buildings or tunnels, for example, use applications that demand a lot of graphics processing power from their computer systems. That’s why you still see BIM modellers dragging along […]

Pers

  • Intercept

    Intercept is Microsoft Country Partner Of The Year 2020

    Intercept is uitgeroepen tot Microsoft Country Partner of the Year 2020. Een prestigieuze prijs die uitsluitend wordt uitgereikt aan partners die zich onderscheiden in een vooraanstaand veld. Deze award is de bekroning op de jarenlange samenwerking tussen Intercept en Microsoft. Intercept wordt onder meer erkend voor het leveren van toonaangevende en waardevolle oplossingen voor ISV’s. […]

Pers / Nieuws

  • een man met een hololens

    Verandering in een stroomversnelling

    De eerste fase van de COVID-19-uitbraak stond vooral in het teken van snelle oplossingen en crisismanagement om de dagelijkse gang van zaken in goede banen te leiden. Nu gaan we over naar een nieuwe fase, een hybride realiteit, waarin we zowel thuis als op locatie werken. Een tijd waarin verzorgingstehuizen weer voorzichtig opengaan en bedrijven […]

Security & Privacy

Tips

  • Twee vrouwen en één man brainstormen in een informele kantooromgeving. De vrouwen gebruiken laptops en de man schrijft met de hand. Op de achtergrond staat een groot scherm.

    Moderne verkooptrends voor 2019 in 5 webinars

    De relatie tussen kopers en verkopers wordt elke dag ingewikkelder. Voor elk potentieel partnerschap moet de juiste koper worden gevonden, kennis over hun bedrijf worden verzameld, de voortgang in de koopcyclus worden bijgehouden en de juiste content worden aangeboden, wanneer en hoe ze dat willen. Deze veranderingen in dynamiek onderstrepen het belang van moderne verkoop. […]

Webinars

  • Webinar-serie: de toekomst van de retailbranche

    Webinar-serie: de toekomst van de retailbranche

    Technologie is overal aanwezig. De digitale transformatie is in volle gang in alle bedrijven en alle branches. De verandering voltrekt zich in een hoog tempo en veel, zo niet alle, businessmodellen gaan hierdoor op de schop. Marktverstorende, vernieuwende retailbedrijven zijn de eerste organisaties die laten zien hoe de toekomst van retail eruitziet. Digitale transformatie Deze […]