In juni 2017 kwam Apple met ARKit, een framework om de ontwikkeling van Augmented Reality applicaties voor het mobiele iOS 11 systeem eenvoudiger te maken. Daarmee was Apple zeker niet de eerste met AR voor mobiele apparaten, het veroorzaakte wel een opschudding binnen de industrie. Waar bedrijven als Google en Microsoft vochten om een been, ging Apple ermee heen… of toch niet? Eind augustus lanceerde Google hun eigen ARCore platform, een soortgelijke ontwikkeltool maar dan voor Android toestellen. Wat zijn de overeenkomsten, wat zijn de verschillen en wat betekent dit voor Augmented Reality in het algemeen?

Wat is ARKit?

ARKit is een framework dat het eenvoudiger maakt voor ontwikkelaars van iOS applicaties om Augmented Reality in hun software te verwerken. Het is een softwarematige oplossing die gebruikt maakt van de beschikbare hardware in iPhones en iPads om virtuele objecten in de wereld om je heen te plaatsen op een overtuigende wijze. Denk aan de zwevende Pokémon karakters of de AH Dino’s die met ARKit veel beter op hun plaats blijven staan. Hoewel de iPhone 8 een dieptesensor heeft om AR beter in de ruimte te positioneren, is ARKit ook te gebruiken op oudere toestellen. Het framework maakt standaard onderdeel uit van iOS 11, waardoor je met enkele generaties iPhones en iPads van de nieuwe mogelijkheden gebruik kunt maken.

De hotdog test

Augmented Reality op mobiele toestellen is niet nieuw, zo kon Layar al in 2009 informatie over het camerabeeld plaatsen. Snapchat laat smartphone gebruikers de laatste tijd steeds vaker kennismaken met AR toepassingen zonder het echt te benoemen. Eerst met de gezichtsfilters, toen met de Lenses waarmee je objecten over live beeld kunt plaatsen. Het was de hotdog van Snapchat die de eerste AR superster werd. Om een idee te krijgen van de beperkingen in standaard Augmented Reality kun je zelf een test uitvoeren: Plaats de Snapchat hotdog op de tafel, bijvoorbeeld op een bierviltje. Loop dan langzaam naar achteren, je ziet dat de hotdog steeds verder van het viltje zal afwijken. Dat is een beperking van standaard AR, met ARKit en ARCore zal deze tracking veel nauwkeuriger worden.

Van Tango naar ARCore

Project Tango begon als een project binnen Google met als voornaamste doel de positie van een mobiel apparaat zo nauwkeurig mogelijk te bepalen. Dat klinkt wellicht niet zo spannend, en daarom heb je er wellicht niet eerder van gehoord. Je kunt met een Tango apparaat een flinke wandeling maken bij jou in de buurt, het toestel zal dan met een ongeëvenaarde precisie jouw tocht registreren. Tango kan niet alleen diepte scannen, maar ook muren en voorwerpen herkennen. Als praktische toepassing zou je in een museum rond kunnen lopen waarbij de inrichting aangevuld wordt met informatie over de schilderijen, zelfs de inrichting kan compleet veranderd worden.

Om deze tracking mogelijk te maken heb je een mobiel apparaat nodig op basis van Android en een speciale diepte scanner. Als je bekend met de Kinect camera voor de Microsoft Xbox zal dit bekend voorkomen, Tango werd ook deels door mensen ontwikkeld die voorheen voor Microsoft hebben gewerkt. De camera maakt gebruikt van SLAM, ofwel Simultaneous Location And Mapping, de hardware en software kan realtime de omgeving scannen en vastleggen. Je zou dus een virtuele bank in de huiskamer kunnen plaatsen, een virtuele koelkast in de keuken en een virtueel nachtkastje in de slaapkamer. Je kunt vervolgens door het hele huis kunnen lopen en de objecten blijven perfect op hun plaats, ook wanneer je ze niet meer kunt zien.

Waarom Tango geen succes werd

Hoewel de technologie van Tango zeer indrukwekkend is zijn er enkele redenen te bedenken waarom niet iedereen met een Tango toestel rondloopt. Ten eerste zijn er slechts twee toestellen op de markt die uitgerust zijn met de Tango hardware en software; de Lenovo Phab 2 Pro en de Asus ZenFone AR. Helaas zijn deze toestellen niet echt bijzonder op de Tango functionaliteit na. Daarnaast werd Tango vooral onder de aandacht gebracht vanwege de positiebepaling, wat niet echt een “sexy” toepassing is, maar vooral een technische eigenschap. Een Android ontwikkelaar maakte de grap dat Google in feite gewoon de Development Kit voor Tango heeft hernoemd naar ARCore, en de code voor diepte registratie heeft gewist. Dat geeft aan hoe belangrijk de Tango ontwikkeling is geweest voor het “nieuwe” product ARCore.

Fragmentatie van toestellen

Met de introductie van ARCore werd tevens aangekondigd dat het Tango merk met pensioen gaat, de huidige toestellen worden voortaan als “geschikt voor ARCore” aangemerkt. Daarmee zal er ook een splitsing komen tussen toestellen met de dieptescanner zoals de ZenFone AR en de toestellen zonder dieptescanner zoals de Galaxy S8. Voor Apple geldt overigens hetzelfde, alleen de nieuwe iPhone 8 is uitgerust met een speciale Infrarood scanner, de iPhone 7 heeft een dubbele camera, en bijvoorbeeld de iPhone SE heeft alleen een normale fotocamera. Toch zullen al deze toestellen werken met ARKit op basis van iOS 11.

Google Daydream

De Asus ZenFone heeft naast Tango ook de mogelijkheid om Daydream te gebruiken, het Virtual Reality platform van Google. Na Google Cardboard wilde het bedrijf een meer hoogwaardige, mobiele VR ervaring ontwikkelen in navolging van de Gear VR van Samsung. Ook hier is hetzelfde probleem als bij Tango aanwezig, er zijn te weinig toestellen die de juiste hardware aan boord hebben om het systeem te ondersteunen. Naast de Pixel smartphones van Google is er nu de ZenFone AR, en de Samsung Galaxy 8 toestellen zijn ondertussen ook gecertificeerd voor Daydream. Hoewel het een VR systeem betreft, is de hardware in deze toestellen ook geoptimaliseerd voor diverse processen waar ARCore gebruik van zal maken. Dat is ook de reden dat ARCore voorlopig alleen beschikbaar is voor de Pixel en Galaxy 8 toestellen.

Wat is ARCore?

Als je de beschrijving van ARKit leest, maar dan van “iOS” steeds “Android” maakt, en “Apple” leest als “Google”, dan ben je goed op weg ARCore te doorzien. Dat betekent overigens niet dat Google achter de feiten aanloopt. Integendeel, de ontwikkeling van Tango en Daydream heeft de basis gelegd voor het meer eenvoudige en toegankelijk ARCore systeem. In principe draait het om deze drie methodes:

1. Optische kalibratie: ARCore maakt gebruik van de smartphone camera om de omgeving te analyseren. De software kan objecten herkennen en volgen.
2. Inertial Measurement Unit: Dit is een geavanceerde manier om de positie en richting van een voorwerp te bepalen, in dit geval de positie en rotatie van de smartphone. In combinatie met de optische kalibratie kan de software heel nauwkeurig de positie van het apparaat ten opzichte van de omgeving bepalen.
3. Belichting: Wanneer je in een donkere ruimte op jouw smartphone kijkt zal het scherm standaard van helderheid veranderen. Smartphones kunnen op basis van de camera namelijk een lichtmeting uitvoeren. Dat is ook bij ARCore een basisvereiste, een object zal dynamisch belicht worden waarmee het object echt deel uit lijkt te maken van de ruimte.

Dit zijn dezelfde methodes die ARKit toepast bij de tracking voor Apple apparaten. ARCore profiteert wel van de praktijkervaring met Tango en Daydream, met name de grote ruimtes die Tango kan onthouden. Als ARKit alleen rekening houdt met het zichtbare beeld, en ARCore ook de reeds bestaande informatie opslaat kan de Google software een superieure ervaring bieden. Vooralsnog mogen we veronderstellen dat ARCore en ARKit gelijkwaardig zijn, met als voordeel voor Apple dat ze meer controle hebben over de hardware omdat zij zowel het besturingssysteem als de toestellen in eigen huis ontwikkelen.

Augmented Reality of Mixed Reality?

Bij Augmented Reality wordt er een digitale laag over de wereld om je heen gelegd, zoals een navigatiesysteem of een tekstbericht die in je ooghoek verschijnt met een AR bril. Bij Mixed Reality wordt het virtuele beeld heel nauwkeurig in de ruimte geplaatst met een absolute positie. ARCore moet dit op basis van standaard mobiele hardware bepalen, de Microsoft HoloLens heeft hier wel de nodige hardware voor aan boord. In tegenstelling tot een ondoorzichtig smartphone scherm met live videobeeld, kun je met de HoloLens headset door een glazen vizier kijken waarbij er voor je ogen 3D hologrammen worden geprojecteerd. De ARCore en ARKit technologie bevinden zich ergens tussen AR en MR in wat betreft de ervaringen die mogelijk zijn.

Wat kun je met deze Augmented Reality?

ARCore is zo nieuw dat er zelfs geen logo beschikbaar was tijdens de onthulling. Google wil blijkbaar Apple de wind uit de zeilen nemen voor de officiële presentatie van de nieuwe iPhone. Er zijn dus ook nog weinig demo applicaties beschikbaar. Laten we daarom enkele ARKit filmpjes op basis van Apple producten noemen, de functionaliteit is grotendeels gelijk aan ARCore:

Boetseren in 3D

Ben je op zoek naar je vrienden op een festivalterrein? Je kunt de locatie delen en een pijl verschijnt op de locatie waar jouw vrienden staan.

Virtueel meetlint

Je kunt zeer nauwkeurig objecten meten zonder duimstok of meetlint. Er wordt zelfs rekening gehouden met perspectief, en horizontale of verticale vlakken.

The Walking dead

Zombies jagen met de karakters uit The Walking Dead, voor de mensen die Pokémon toch meer iets voor kinderen vinden.

IKEA meubels testen

Wat dacht je van dit 3D spel bij jou thuis op tafel? Je kunt om het level heen lopen en jouw spelkarakter sturen.

Giphy World

Geef jouw babysitter tips met GIF animaties in de ruimte, je kunt ook de kinderen instructies geven of jouw partner eraan herinneren de vuilnis buiten te zetten.

De consument is de grote winnaar

Met ARCore als opvolger van Tango, en ARKit als de voornaamste nieuwe toevoeging van iOS 11, wordt Augmented Reality het nieuwe paradepaardje voor mobiele technologie. We worden als consumenten niet langer enthousiast van een camera met extra Megapixels, de vernieuwingen in mobiele apparaten zijn ver te zoeken. Nu ARCore en ARKit naar voren worden geschoven zullen de apps ongetwijfeld volgen, en de consument zal hiervan profiteren. Ook Facebook heeft reeds bekend gemaakt nieuwe diensten voor AR te ontwikkelen, terwijl ze voorheen alleen aandacht hadden voor Virtual Reality. Het is de vraag hoe Microsoft gaat reageren, de unieke mogelijkheden van de HoloLens Mixed Reality headset worden stuk voor stuk gekopieerd door de concurrentie. Dat geldt overigens ook voor Snapchat, die hun innovatieve Augmented Reality mogelijkheden zien verschijnen bij concurrenten als Facebook. We mogen ook de startups niet vergeten, we wachten bijvoorbeeld nog steeds op de baanbrekende technologie van Magic Leap. Als het miljardenbedrijf van Rony Abovitz niet snel met een product op de proppen komt verliezen ze al hun geloofwaardigheid. Ondertussen wordt Kickstarter overspoeld met AR brillen en houders, terwijl er steeds meer Chinese bedrijven hun eerste stappen op de westerse markt zetten.

Content is King

Uiteindelijk zal het niet ARCore zijn die voor de doorbraak zorgt, ook niet een dieptesensor op een smartphone of een scherm in een slimme bril. Het zal een kwestie zijn van toepassingen, wie bedenkt de “killer app”? Is een smartphone ontgrendelen met je gezicht voldoende, of wacht de wereld op een revolutionaire IKEA app? Binnen de industrie worden AR brillen zoals die van Vuzix en ODG steeds vaker gebruikt, na de Rift en Vive Virtual Reality headsets komen er nu steeds meer betaalbare VR producten op de markt. Nu gaan we zien of er een AR applicatie is waar het grote publiek massaal voor overstag gaat. Pokémon GO Versie 2 misschien?

Augmented Reality is geen toekomstmuziek meer, het is vandaag al realiteit.