The Cognite robot Spot on an oil platform

Building the Future of Robotics: Cognite Continues to Raise the Bar for Industrial Generative AI

Jon Jahren

Jon Jahren

Azure Data & AI Lead

Lesetid, 7 min.

Robots can perform tasks that humans are better off avoiding. Now, generative artificial intelligence is revolutionizing the way robots “think”.

“Welcome to our robot garden,” says Stein H Danielsen, co-founder and Chief Solution Officer at Cognite.

A yellow, mechanical dog approaches from the side. It can carry, hear, and see even better than humans. It understands its environment and can figure out the best way to react in a given situation.

This is one of several autonomous robots being trained at the facility just outside of Oslo, Norway. The robot garden was developed in collaboration with Cognite’s partners at Createc, Aker Solutions, and TESS. The goal is for the robots to assist humans with dangerous, demanding, or mundane tasks.

“Robots never get tired or bored of repeating the same task over and over again. But they can also handle things we humans should avoid, like dangerous chemicals or risky tasks,” Danielsen says. 

Developing the “Robot Brain”

Humans have been fascinated by the idea of robots since ancient times, with Greek myths depicting «metal-men» and statues that came to life. But even today, as robots actually assist people and industries with a variety of tasks, the challenge remains largely the same:

How do we give robots knowledge? How do we ensure they learn? Is it possible to create a robot capable of making its own assessments?

“At Cognite, we’re essentially working on developing the ‘robot brain’,” says Danielsen.

 

Stein H. Danielsen, Cognite

Stein H. Danielsen, co-founder and CSO at Cognite.

Contextualizing Data

Cognite is a technology company founded in Norway, globally recognized for its industrial data software. Simply put, Cognite specializes in solutions that contextualize vast amounts of raw data, making this information useful for decision-making and automation purposes.

Major companies around the world use Cognite’s data platform, Cognite Data Fusion®, to find answers to everything from the best ways to manage turbines in a hydroelectric power plant to how a factory can minimize the wastage of raw materials.

“We collect massive amounts of data from various locations and industries. This includes information on everything from small bolts to large machines, temperature, power consumption—data on just about everything,” Danielsen says, adding:

“This is an overwhelming amount of data, and it is difficult to see how these data points are connected and find the data you need at any given moment. To solve this data problem, we contextualize the data in Cognite Data Fusion.” 

However, all of this depends on one very important factor: data quality. Without good data, neither robots nor language models are of much use.

“In an industrial environment, there’s no room for error. That’s why we say artificial intelligence isn’t a quick fix. If you feed the models garbage, you get garbage back. But with good data quality, you get an accurate representation of reality. That’s the most important thing we do at Cognite.” 

 

Cognite Data Fusion

Cognite Data Fusion

Using generative AI to control robots

Over the past year and a half, one particular technology has garnered more attention than others: generative artificial intelligence.

Simply put, generative artificial intelligence (AI) is a type of AI that can create new content such as text, images, and video. The engine behind generative AI is known as large language models. 

Large language models are trained on vast amounts of data sourced from the internet, newspapers, books, blogs, social media, comment sections, and much more. Using all this training material, a language model can create entirely new content or solve tasks you ask it to perform.

This technology powers services like Copilot and ChatGPT.

But did you know that generative artificial intelligence can do much more than just produce text, summarize email threads, and transcribe meetings?

It can also be used in industrial settings. Cognite employs this technology to control robots. Or more precisely, it allows you to control the robots—with your own voice.

“Generative AI is Changing Everything”

Using robots for industrial purposes isn’t necessarily new. Cognite has been actively using various types of robots across many different industries for years. Data shows that these robots already work ten times faster than humans.

“Now, generative AI is starting to change everything,” he says.

Using the language model GPT-4, robots can respond to plain text—essentially what you say to them in everyday speech. They also understand the context of the tasks they are supposed to perform, aided by advanced sensors and OpenAI’s Vision API, which allows the robots to see and interpret their surroundings.

 

The robotic vision

Combined with the contextualized datasets from Cognite Data Fusion—which are trained on all operations, documentation, and relevant tasks from the industry in which the robot operates—you get robots that can reason their way to the right approach to a task, rather than being confined to rule-based instructions.

Danielsen provides an example:

“Let’s say there’s water on the floor of an oil platform, and it rained earlier in the day. The robots might then say, ‘This is just rain.’ But if there’s liquid under a valve that is usually closed, they can understand that there’s been a leak.” 

 

Cognite Inrobot Mission Screen

Easier to Program Robots

Until now, programming robots has been a painstaking and manual task.

Previously, everything had to be calculated in advance, involving work with coordinates and complex algorithms. Even the simplest command, like getting a robot to differentiate between objects, was highly complicated to execute.

“Not everyone has been able to do this, so robots have been limited to very specialized applications. But now, as we equip robots with generative artificial intelligence, we are really talking about a game changer.”

“Now, the process of controlling the robots will become available for anyone—just by using plain language. From having specialists coding advanced step-by-step instructions, workers can have conversations with robots, completing tasks faster, with less risk, and at a lower cost.”

Making Robots More Accessible

Working this way also means there’s no need to individually train each robot. The capabilities that one robot possesses can be duplicated and scaled to other workplaces.

This means that in the future, robots could become significantly cheaper to produce, making them more widespread and easier to adopt.

“I’m convinced that in the near future, robots will be performing a myriad of tasks across all industries. And probably in our homes too,” Danielsen says. 

 

Cognite Inrobot Inspection Screen

Built on Top of Microsoft Azure

Cognite and Microsoft are partners, with Cognite building its software on top of Microsoft Azure’s cloud infrastructure.

“This foundation provides us with a secure and scalable solution that allows us to be innovative, flexible, and meet our customers’ needs,” says Danielsen.

Data security is a top priority, and Microsoft Azure’s built-in security infrastructure provides a secure and robust foundation to build on.

In 2024, Cognite was also named «Partner of the Year» by Microsoft in the Energy and Resources category—a global award among all companies worldwide that have a partnership with Microsoft.

Offering virtual AI agents

Before the summer, the company Cognite launched Atlas AI, which, simply put, are specialized virtual AI agents.

AI agents are a type of technology that can automate business processes without needing clear instructions for specific tasks. Cognite Atlas AI can help make work easier for process engineers, field workers, maintenance teams, and others who use data—while also improving efficiency, reducing costs, and increasing accuracy.

The product is built on multiple technologies. Under the hood, besides Cognite Data Fusion, it includes various large and small language models, along with functionality from Microsoft’s Copilot.

“We are seeing a transition from a single model to a portfolio of models where customers can choose the best one for their needs. Here, Microsoft Copilot and Cognite Atlas AI are combined for better performance by fine-tuning the models with specific data and expanding what language models can achieve,” says Ole Henrik Ree, Strategic Client Director at Microsoft Norway, adding:

“At Cognite, we have a partner as dedicated to AI innovation as we are,” he concludes.

Se fremtidige eventer Microsoft arrangerer

og registrer deg her!

Oppdag flere relaterte artikler per bransje:

Detaljhandel

  • HeadBrands er klar for fremtiden med Microsoft 365 Business

    HeadBrands er klar for fremtiden med Microsoft 365 Business

    Siden etableringen i 2010 har HeadBrands opplevd rask vekst og er nå Skandinavias ledende forhandler av frisørprodukter. HeadBrands trengte en moderne IT-løsning for å øke produktiviteten og forbedre samarbeidet, både internt og eksternt. Svaret på utfordringen var å bytte ut de fleste tidligere tjenester med Microsoft 365 Business: en helt ny løsning som kombinerer det […]

  • Microsoft Envision Retail agenda

    Microsoft Envision Retail agenda

    Microsoft Envision Retail 09.00  Velkommen Microsoft & Virke ønsker velkommen og snakker om de store trendene i retail Siri Nordby, Industry Lead Retail, Microsoft Norge Marit Hagehaugen Evensen, Bransjedirektør Retail, Virke 09.30  Envision Retail Dypdykk i kundereisen med fokus på teknologi og trender Linda Pimmeshofer, Direktør Forretningsutvikling Retail, Microsoft Sverige 10.00  Partnerskap med Møller Mobility […]

Finans og forsikring

  • tech workers in bank

    Slik implementeres Copilot i bankbransjen

    DNB og SpareBank 1 delte av sine erfaringer og produktivitetsgevinster med Copilot: – For flere føles det ut som de jukser på jobben, sier prosjektleder.  Å lykkes med Copilot krever noe ganske annet enn å implementere ny programvare eller en applikasjon på arbeidsplassen. Den kunstig intelligente assistenten fra Microsoft representerer en helt annen måte å […]

  • Arrangerte Hackathon for fremtidens lavkodeløsninger i Sparebank 1  

    Arrangerte Hackathon for fremtidens lavkodeløsninger i Sparebank 1  

    Da Sparebank 1 Utvikling inviterte til Power Platform-Hackathon, samlet fem av landets fremste ekspertmiljøer innen Microsoft-plattformer seg for å knive om førsteplassene.    – – – –   Blant disse var Sopra Steria, KPMG, EVIDI, Bouvet og Cefyr.    – Dette har vært kjempemoro og en helt ny måte å utveksle lærdom mellom kunde og leverandør, sier Pål-André […]

Helseomsorg

Industri

  • Har du kontroll på hvor informasjonen flyter og hvem som har tilgang til den?

    Har du kontroll på hvor informasjonen flyter og hvem som har tilgang til den?

    Vi deler informasjon og data mye mer enn tidligere, og dette krever god kontroll på hvor informasjonen flyter, hvem som har tilgang og hvor lenge den lagres. Konsekvensene av det motsatte vil du unngå. Måten vi jobber på har endret seg, og regelverket for hvordan sensitiv data skal sikres har blitt strengere. Dette stiller krav […]

  • Etex

    Etex bruker moderne verktøy for å samle bedriften og styrke kundefokuset

    Når det gjelder konstruksjon, må alle komponentene settes sammen på riktig måte og i riktig rekkefølge for at produktet skal bli optimalt. Etex er et belgisk selskap som produserer byggeløsninger, og de har fokus på dette hver dag. De ønsket å finne en måte å forbedre produktiviteten og det interne samarbeidet på. Med over 15 000 […]

Offentlig sektor

Utdanning

  • Library
    Les mer om Teams i skolen Samarbeid Lesetid, 1 min.

    Teams i skolen

    Teams har tatt skolenorge med storm, og flere tusen lærere og elever har integrert Teams som en del av sin skolehverdag. Teams samler alle samtalene dine, møter, filer og apper på ett sted – i ditt Team, og du har rask tilgang og enkel oversikt. Som lærer kan du bruke Teams til å tilrettelegge innhold […]

  • Uninett leverer forskningsnett i verdensklasse med Microsoft

    Uninett leverer forskningsnett i verdensklasse med Microsoft

    Uninett investerer nå i kapasiteten på forskningsnettet mot Microsoft for å sikre seg for framtiden. – Trafikken har vokst, derfor gjør vi nå vår første oppgradering fra 20 gigabits per sekund til to parallelle direkteforbindelser på 100 Gb/s, som også er reserver for hverandre, forteller avdelingsdirektør Olaf Schjelderup ved Uninett. For et drøyt år siden […]

Oppdag flere relaterte artikler per dossier:

Digital Transformation

  • Digitalkultur

    Digitalkultur er nøkkelen til innsikt fra førstelinjen

    Digital endring handler like mye om mennesker som om teknologi. For å utvikle nye forretningsmodeller trenger vi fri flyt av ideer og innsikt. Da må hele organisasjonen kunne samle og dele kritisk innsikt, og alle – fra toppledelsen til førstelinjen i bedriften – må ta teknologien i bruk. De fleste som jobber i førstelinjen snakker […]

Kundehistorier

  • Power BI-0812

    Power BI-dagen 13. desember 2022

    Desember, 2022 For andre gang arrangerte Microsoft Norge «Power BI-dagen» – en dag fylt med masse inspirasjon fra Norges største selskaper om hvordan de tar i bruk Power BI til å bli mer datadrevet. Vi startet dagen med Lars Andersen fra Power BI Customer Advisory Team (PBICAT), som presenterte Power BI i Norden, nyheter i […]

Presse

  • Microsoft Norges respons til COVID-19

    Microsoft Norges respons til COVID-19

    Sist oppdatert: 16. mars 2020 Microsoft har en global tilnærming til beredskapsplaner og planlegging av krisehåndtering, som inkluderer både forutsette og uforutsette hendelser. Tilnærmingen inkluderer en handlingsplan ved pandemier. Våre handlingsplaner aktiveres over hele verden, og i tillegg til bistandsmidler til Kina og Puget Sound Community, har vi forpliktet oss til å levere produkter, tjenester […]

Sikkerhet og personvern

  • Dynamics 365: GDPR og smarte forretningsapplikasjoner

    Dynamics 365: GDPR og smarte forretningsapplikasjoner

    Den 25. mai 2018 nærmer seg med stormskritt, og Personvernforordningen (GDPR) er ikke lenger bare en fjern tanke, men en nært forestående endring innen regulering av databeskyttelse. Det er også en mulighet til å åpne for verdien av dine bedriftsdata. De som gjør det bra, vil oppnå konkurransefordeler. Slik kan Dynamics 365 hjelpe. Det er […]

Tips

  • et skjermbilde av en mobiltelefon

    Microsoft Teams med nye funksjoner og utvidelser

    Under en presselansering denne uken, hvor Microsoft snakket om alvoret rundt COVID-19, annonserte vi også at Teams kommer med en rekke nye funksjoner og utvidelser. Dette vil gjøre kommunikasjonen og arbeidet mer produktivt blant brukerne. Over hele verden har millioner av mennesker blitt påvirket av COVID-19-utbruddet. Som følge av dette har etterspørselen til Teams økt […]