en gruppe mennesker som poserer for kameraet

Recap of Cloud Stories from Norway, Episode 2: Azure IoT and Machine Learning in Oss Norge

Maxim Salnikov

Maxim Salnikov

Developer Engagement Lead

Lesetid, 7 min.

The second episode of the “Cloud stories from Norway” videoshow is ready for watching! In this 40-minutes long show we feature Azure cloud best practices, patterns, tips & tricks used in production in the products and services of the well-known Norwegian companies. 

Yo can watch this episode on-demand. Just fill in the form and you will immediately receive a link to the video in your email.

For this episode, we invited Bent Eikmo (CTO at Oss Norge AS) and Sebastien Didierjean (Data Scientist at Oss Norge AS) to present about Azure architecture decisions they made and successfully implemented to build a hardware + software + cloud solution for helping people and companies to get useful information about the power consumption in their apartments and offices. You are welcome to read about how Oss Norge uses Azure cloud for creating a greener energy market in their Customer Story on our blog.

In their short, very focused technical sessions Bent and Sebastien presented about: 

  • Technical journey on building IoT device and sending data to the cloud using Azure IoT Hub 
  • Machine Learning infrastructure used in production at scale which includes Azure Data Explorer and Databricks 
  • Many more cloud tips & tricks to skill you up on Azure! 

During the streaming session we received lots of technical questions from our attendees. Here we publish the answers to some of them: 

  • Q: Did you reduce the amount of data or only reduced the bandwidth used?
    A: We didn’t reduce the amount of data, but the amount of overhead by packing more data into a single IoT hub frame. 
  • Q: Is ADX like Google BigQuery?
    A: Yes, it is. It is more ergonomic and powerful (in our case!) 
  • Q: Is Azure Data Explorer easy to configure to ingest data from non-Azure sources, i.e Google Big Table or Big Query? Do you have any experience with that?
    A: I have limited experience of such compatibility. We use ADX for both storage and data wrangling with ingestion from IOT hub. 
  • Q: What kind of resolution are you working with on the data?
    A: We are working at seconds level. 
  • Q: Which programming language is being shown here?
    A: It is mainly KQL and python (in the sandbox) 
  • Q: Why not make all the data processing in Databricks rather than using an additional framework with ADX to do the initial predictions?
    A: Since we use ADX for the storage, it is easier to perform the first step of data wrangling/ML in ADX directly. We only use a few hours of Databricks clusters per day. 
  • Q:  Why are you doing some machine learning in Spark rather than using ADX for everything? To me this sounds like a complication.
    A: ADX is limited in term of ML and its DevOps capability is not enough to cover our needs. 
  • Q: Do you use ADX also for data storage, and how do you handle data retention?
    A: Yes, we do. We keep the last 31 days in hot (SSD) storage. 
  • Q: If I remember correctly, you also have an API that could be consumed? I assume working with electricity data, there is a lot of volume. If so, did the volume of data create any challenges in making an API?
    A: The raw data is not presented to the API. Only aggregated data is presented at the moment. 
  • Q: Could you tell what are in your experience the main advantages of doing the preprocessing in ADX vs Spark?
    A: For a little startup, ADX offers out of the box tools to perform advanced data wrangling (less coding) and the development is faster since the queries are developed directly where the data is stored. 
  • Q: How much did you reduce in cost by optimizing in total (Azure, Code and IoT)
    A: It is hard to say because we are not completely done optimizing, but I would say about 70% 
  • Q: How do you store the archive data in Azure?
    A: We are not moving data to additional archive storage at the moment. 
  • Q: Do you have a solution for including the different grid tarifs (nettleie) when presenting the costs/price of the consumed electricity to each user?
    A: We consider the zones where the customer lives. Considering the exact grid tariffs is under development. 
  • Q: For how long do you keep the data? Is it deleted afterwards or archived somewhere else?
    A: As long as the user is a customer, we keep the data in our system (ADX)! 
  • Q: Could a machine learning model trained in AzureML be used directly in ADX to achieve the same capability as SparkML?
    A: I am a bit unsure about the level of performance (it depends on the cluster configs/costs) but a model trained with AzureML should work with the Python sandbox. Let me know if you manage to couple ADX and AzureML! 
  • Q: Is data is stored as JSON?
    A: It is ADX that deals with it. It looks JSON like. 
  • Q: Do you push code to the devices as well with IoT Hub?
    A: Yes, we are using IoT Hub to control the update process. 
  • Q: Have you considered the life of Data? How long the data is planned to be stored?
    A: As long as a user remains a customer, we do not have any limit on storage based on how old the data is. 
  • Q: I understand that customers’ anticipation and awareness might be one the goals but what is the future for Oss Norge and its product?
    A: As of today, Oss Norge addresses both private and business markets with products oriented towards energy prediction and awareness. We are working on improving the present developments and on the optimisation of energy savings in the business segment with highly competitive solutions.   
  • Q: Could you provide some thoughts on what types of workloads you would use ADX and Databricks for going forward, in both the data engineering and machine learning areas? ADX seems to be very effective for less complex stuff (simple data transformation, basic built-in ML?), whereas Databricks provides full flexibility (and, perhaps, added scalability). Do you also see it this way, and if so, where would you say that you hit that «complexity threshold» on data engineering and ML complexity where Databricks becomes more effective?
    A: So far ADX is scaling very smoothly so we do not think about Databricks overtaking part of the ETL. The presence of the python sandbox in ADX makes it flexible enough to cope with our future developments. 
  • Q: How did Azure help you in ensuring Data quality?
    A: I would say that it is one of our first mission as Data Scientist to ensure optimal Data Quality. ADX with the built-in visualisation tool helps in productivity for all the tasks related to Data Quality. 
  • Q: Do you delete the data after some time or archive it in some way (e.g. so that you can perform long term analysis later)?
    A: All data is stored within ADX at the moment for later analysis. 

How to contact Bent Eikmo: 

 How to contact Sebastien Didierjean: 

All episodes of the “Cloud stories from Norway”

Next events from Microsoft Norway?

How to follow all Microsoft Norway’s and local tech communities’ events about Azure cloud for the developers – conferences, seminars, workshops, training, webinars, etc.? Just follow our technical twitter https://twitter.com/MSDevNo or hashtag #MSDevNo

To stay connected: 

Feel free to send your questions about the Azure cloud technology and educational events here: maxim.salnikov@microsoft.com 

Maxim Salnikov
Developer Engagement Lead at Microsoft Norway 

Oppdag flere relaterte artikler per bransje:

Detaljhandel

  • Detaljhandel og GDPR: Ser vi slutten på en lettvint holdning til kundedata?

    Detaljhandel og GDPR: Ser vi slutten på en lettvint holdning til kundedata?

    GDPR skaper en rekke unike utfordringer for forhandlere.

  • Microsoft Envision Retail agenda

    Microsoft Envision Retail agenda

    Microsoft Envision Retail 09.00  Velkommen Microsoft & Virke ønsker velkommen og snakker om de store trendene i retail Siri Nordby, Industry Lead Retail, Microsoft Norge Marit Hagehaugen Evensen, Bransjedirektør Retail, Virke 09.30  Envision Retail Dypdykk i kundereisen med fokus på teknologi og trender Linda Pimmeshofer, Direktør Forretningsutvikling Retail, Microsoft Sverige 10.00  Partnerskap med Møller Mobility […]

Finans og forsikring

  • Arrangerte Hackathon for fremtidens lavkodeløsninger i Sparebank 1  

    Arrangerte Hackathon for fremtidens lavkodeløsninger i Sparebank 1  

    Da Sparebank 1 Utvikling inviterte til Power Platform-Hackathon, samlet fem av landets fremste ekspertmiljøer innen Microsoft-plattformer seg for å knive om førsteplassene.    – – – –   Blant disse var Sopra Steria, KPMG, EVIDI, Bouvet og Cefyr.    – Dette har vært kjempemoro og en helt ny måte å utveksle lærdom mellom kunde og leverandør, sier Pål-André […]

  • tech workers in bank

    Slik implementeres Copilot i bankbransjen

    DNB og SpareBank 1 delte av sine erfaringer og produktivitetsgevinster med Copilot: – For flere føles det ut som de jukser på jobben, sier prosjektleder.  Å lykkes med Copilot krever noe ganske annet enn å implementere ny programvare eller en applikasjon på arbeidsplassen. Den kunstig intelligente assistenten fra Microsoft representerer en helt annen måte å […]

Government

  • KI på kontoret: Personlig produktivitet og effektivisering i Oslo kommune

    KI på kontoret: Personlig produktivitet og effektivisering i Oslo kommune

    Nå ser en av Norges største arbeidsplasser mot kunstig intelligens for å gjøre ansatte mer effektive – og for å levere bedre tjenester til Oslos innbyggere:   En by er et sofistikert maskineri. Alt fra helsetilbud og renovasjonssystemer til kollektivtransport er brikker i et enormt puslespill som må passe for at hjulene skal gå rundt.   Det […]

Helseomsorg

  • en person som sitter foran en bærbar datamaskin

    «Big Bang»-tilnærmingen til digital transformasjon – og hvordan man får den til å fungere

    Ingenting er som før for næringsdrivende. Endring og omveltning er den nye normalen. Bare tenk på endringene som påvirker din egen organisasjon akkurat nå: Ny teknologi og nye teknikker skaper nye holdninger og forventninger både blant ansatte og kunder. Alt forandrer seg. Det eneste alle endringene har til felles, er hastigheten de skjer i. De […]

  • A woman working in healthcare talking to another woman

    Teams i helse, pleie og omsorg

    Vi har sett mange gode brukerscenarier i forbindelse med Microsoft Teams for kontorarbeidere. Men… visste du at ansatte i helse, pleie og omsorg også får nytte og verdi fra bruk av Microsoft Teams?   I webinaret Teams i helse, pleie og omsorg fikk vi høre fra Aukra kommune og København kommune om hvordan de bruker Microsoft Teams i […]

Industri

  • et skjermbilde av en mobiltelefon

    Microsoft Teams med nye funksjoner og utvidelser

    Under en presselansering denne uken, hvor Microsoft snakket om alvoret rundt COVID-19, annonserte vi også at Teams kommer med en rekke nye funksjoner og utvidelser. Dette vil gjøre kommunikasjonen og arbeidet mer produktivt blant brukerne. Over hele verden har millioner av mennesker blitt påvirket av COVID-19-utbruddet. Som følge av dette har etterspørselen til Teams økt […]

  • en person som sitter ved et skrivebord med en bærbar PC på et bord

    Hvordan tilrettelegge for dine ansatte i usikre tider

    Microsofts Max Tchapeyou tilbyr et veldig personlig synspunkt, med henvisning til de seks måtene han har funnet for å jobbe mer effektivt – og positivt – med teamet sitt.

Offentlig sektor

  • Microsoft Norges respons til COVID-19

    Microsoft Norges respons til COVID-19

    Sist oppdatert: 16. mars 2020 Microsoft har en global tilnærming til beredskapsplaner og planlegging av krisehåndtering, som inkluderer både forutsette og uforutsette hendelser. Tilnærmingen inkluderer en handlingsplan ved pandemier. Våre handlingsplaner aktiveres over hele verden, og i tillegg til bistandsmidler til Kina og Puget Sound Community, har vi forpliktet oss til å levere produkter, tjenester […]

  • En mer effektiv kommune med Teams for telefoni

    En mer effektiv kommune med Teams for telefoni

    Når ansatte i Stavanger kommune plukker opp telefonen, er det gjennom Teams. – Se for deg et ektepar hvor den ene er ansatt i kommunen og den andre i et av oljeselskapene her i regionen. Om de sitter ved siden av hverandre på hjemmekontor – så ønsker  kommunen å ha de mest moderne verktøyene. Det […]

Utdanning

  • en gutt og en jente som sitter på en sofa

    Sikre inkluderende og tilgjengelig fjernundervisning med gratis verktøy fra Microsoft

    Oppdag innsiktsfullt innhold om hvordan du lager et inkluderende klasserom på nettet – fra pedagogisk materiale og videoer med raske tips til interaktive guider og webinarer.

  • Universitetets GDPR-guide

    Universitetets GDPR-guide

    Etter 25. mai* må du forholde deg til EUs regler rundt General Data Protection Regulation (GDPR). For å forstå hvordan ditt universitet skal klare dette, kan du ta en titt på denne e-boken og andre ressurser som kan være nyttig for deg og ditt universitet. Universitetets reise Universitetet samler inn navn, adresser, fødselsdatoer og mer […]

Oppdag flere relaterte artikler per dossier:

Digital Transformation

  • Det handler mindre om å spare tid, og mer om å forstå seg selv

    Det handler mindre om å spare tid, og mer om å forstå seg selv

    Viva er en plattform som gjør det lettere å fokusere på det som er viktig. Men det er på langt nær hele historien. «Hvordan har du det i dag? Du skal ikke bruke litt mindre tid på møter, da?» Beskjeden kommer fra Microsoft Viva, som over en periode har lest Ingrids arbeidsmønster. Ingrid Helene Ludvigsen […]

Kundehistorier

  • Etex

    Etex bruker moderne verktøy for å samle bedriften og styrke kundefokuset

    Når det gjelder konstruksjon, må alle komponentene settes sammen på riktig måte og i riktig rekkefølge for at produktet skal bli optimalt. Etex er et belgisk selskap som produserer byggeløsninger, og de har fokus på dette hver dag. De ønsket å finne en måte å forbedre produktiviteten og det interne samarbeidet på. Med over 15 000 […]

Presse

  • Microsoft Norges respons til COVID-19

    Microsoft Norges respons til COVID-19

    Sist oppdatert: 16. mars 2020 Microsoft har en global tilnærming til beredskapsplaner og planlegging av krisehåndtering, som inkluderer både forutsette og uforutsette hendelser. Tilnærmingen inkluderer en handlingsplan ved pandemier. Våre handlingsplaner aktiveres over hele verden, og i tillegg til bistandsmidler til Kina og Puget Sound Community, har vi forpliktet oss til å levere produkter, tjenester […]

Sikkerhet og personvern

  • Kvinne i telefonen som sitter i en taxi

    Hvordan står det til med datasikkerheten i bedriften?

    Det spiller ingen rolle om du er et børsnotert storselskap eller et lokalt bakeri: Moderne nettangrep truer organisasjoner av alle størrelser, innenfor alle sektorer. Og det kan være dyrt å komme seg på beina igjen. Angrep skader ofte merkevarens rykte og fører til betydelige avbrudd i produktiviteten, og derfor er det svært viktig å beskytte […]

Tips