Een van de belangrijke vragen die veel mensen nog hebben bij virtual reality is dan toch de vraag of het dit keer écht gaat gebeuren. Of is de wereld er toch nog niet klaar voor? Tijdens Oculus Connect 2 deed Michael Abrash, Chief Scientist bij Oculus, zijn verhaal over het verleden, heden en toekomst van virtual reality. Volgens hem is virtual reality een aanstormend feit en hét laatste platform. Ook Abrash beseft echter dat we qua techniek en onderzoek er nog niet helemaal zijn, maar dat is juist mooi aan deze nieuwe kans; Virtual Reality!

We zijn er klaar voor, toch?!

Na vele mislukte pogingen in het verleden, is het volgens velen nu écht tijd voor de introductie van virtual reality voor iedereen. Veelal was de techniek die gebruikt werd voor virtual reality simpelweg nog niet ontwikkeld genoeg. Dit was op verschillende plekken terug te zien in het verleden, waar veelal bewegingsziekte erg storend aanwezig was.

Ook pogingen zoals Sega VR omstreeks 1991 zijn gecanceld. Deze laatste volgens SEGA zelf omdat het effect té echt zou zijn, maar hedendaagse praktijk leert dat de techniek toentertijd simpelweg niet geavanceerd genoeg was om een degelijke VR ervaring neer te kunnen zetten. Met de komst van de Oculus Kickstarter enkele jaren terug is de hype weer teruggekeerd. En al blijft er nog genoeg te verbeteren aan de VR techniek van vandaag lijkt alles er op dat het nu écht tijd is voor virtual reality.

Dank aan gaming en smartphones

Misschien wel de belangrijkste reden dat virtual reality ditmaal écht gaat gebeuren, is de ontzettende technologische vooruitgang die we hebben meegemaakt de laatste decennia. Volgens Michael Abrash zijn er twee categoriën aan technologie die nu aanzienlijk beter ontwikkelt zijn dan voorheen. De eerste categorie bevat de relatief simpelere technische gebieden zoals ergonomie, calibratie en optiek (lenzen en dergelijke).

De term ‘simpel’ is hierbij wel relatief aan de tweede categorie, waarbinnen het pas sinds recente jaren mogelijk is om kleine, licht-gewicht schermen te produceren met hoge resoluties. Ook het produceren van kleine en accurate sensoren zoals gyroscopen en accellerometers, mét de accuraatheid van vandaag, vereist een ontzettende wetenschappelijke prestatie.

Maar ook de rendertechniek is veel vooruit gegaan. De tijden dat alle rendering door onze CPU’s gedaan moet worden is allang voorbij. Hoewel het mogelijk is om lichtgewicht games te draaien op een pc zónder videokaart, is dit tegenwoordig vooral door de zogenaamde ‘onboard graphics’ op het moederbord. Menig pc wordt echter gewoon voorzien van een videokaart, welke gekozen kan worden uit een breed aanbod met verschillende prijs klassen. Deze videokaarten zijn ondertussen behoorlijk krachtig aan het worden en het renderen van 4K content ligt binnen handbereik.

Virtual reality is helaas nooit de drijvende kracht geweest achter het ontwikkelen van deze technologie. Het is dan ook begrijpelijk dat het moeilijk is om investeringen in het vereiste onderzoek te krijgen voor een platform, of concept als virtual reality, dat nog niet eens een markt heeft om aan te verkopen. Het is helaas destijds dus nooit door grote investeerders ontvangen als een idee dat de wereld zou kunnen veranderen en daarmee was vr natuurlijk het financiële risico niet waard. Gelukkig heeft de introductie van de mobiele telefoon (en onze drang om deze van steeds meer pc-achtige technologie/capaciteiten te voorzien) een goede ontwikkelingsboost gegeven. De ‘smarthphone-oorlog’ heeft zo echt een flink steentje bijgedragen aan de totstandkoming van de huidige generatie virtual reality hardware.

Met de komst van de eerste échte smartphones zoals de originele iPhone kwam er eindelijk een vraag naar betere schermen. We zijn steeds meer gaan verlangen en verwachten van de kleine zakcomputers en de lat kwam steeds hoger. Nu hadden we een markt, een drijvende kracht achter de technologische ontwikkeling van dergelijke sensoren en schermen.

Gecombineerd met de grote groei die we hebben gezien op het gebied van rauwe renderkracht zijn de puzzelstukken op hun plaats aan het vallen. Zo hebben we in de afgelopen jaren eindelijk de drempel van acceptabele of zelfs prettige virtual reality ervaringen overschreden. Oculus zelf onderkent echter ook dat we er zeker nog niet zijn, maar de start lijkt ditmaal toch zeker te zijn gemaakt.

De illusie van realiteit

De technische kant is interessant, maar daarmee is het leveren van kwaliteits-VR nog niet compleet. Er zit méér achter VR dan alleen rauwe techniek. Jaren is het helaas lastig geweest om écht te kunnen experimenteren met virtual reality en de nieuwe concepten die het met zich mee bracht. Natuurlijk zijn er door de jaren heen groepen wetenschappers en bedrijven geweest met elk hun eigen onderzoek, maar nog nooit ontstond informatie op de schaal zoals nu. Mede daardoor zien we dat het nu mogelijk is geweest om virtual reality met een crowdfunding (bijv. Kickstarter) van de grond te tillen. Hierdoor was het ineens mogelijk voor praktisch iedereen die er het geld aan wilde besteden mogelijk om aan de slag te gaan met virtual reality. De Development Kit 1, ook wel DK1 genoemd, maakte enerzijds wel duidelijk dat de techniek nog wat achterbleef, maar ook was er ineens sprake van een concept als immersie.

Immersie, of presence, is momenteel de beste ervaring die je kunt hebben in virtual reality. Het is het gevoel dat je je écht in de virtuele wereld bevind en je geest even los is van de werkelijkheid. Naar mate de techniek met onder andere de DK2 en het Crescent Bay Prototype beter werd, is het al makkelijker aan het worden om immersie te bereiken. Al moeten de puzzelstukjes nog wel op hun juiste plek vallen. Niet iedereen heeft dan ook al echt het gevoel gehad zich echt in de virtuele wereld te begeven, maar echte immersie weet menig vr-scepticus plotseling om te toveren tot vr-enthusiast met verbazing.

Dat presence een goede en overtuigende ervaring is mag geen geheim heten. Hoe we gegarandeerd dit gevoel van immersie bewerkstelligen daarentegen, laat zich nog raden. Volgens Michael Abrash valt virtual reality zich zeer wetenschappelijk verklaren door onze eigen realiteit. Abstract bekeken is de realiteit die wij ervaren slechts de uitkomst van de input die onze hersenen krijgen. Alle sensoren van ons lichaam genereren elektrische signaaltjes die samen komen in onze hersenen en daar worden geïnterpreteerd. Het feit dat we hier spreken van interpretatie in plaats van perfecte registratie zorgt er voor dat onze hersenen relatief makkelijk voor de gek gehouden kunnen worden.

Bewijs hiervoor zijn onder andere optische illusies. Zelfs als we ons actief bewust zijn van de illusie kunnen we ons onderbewustzijn niet bedwingen. Virtual reality speelt hier hard op in. Door de kwaliteit van de content samen te bundelen met de kracht van de huidige techniek, komen steeds meer mensen in aanraking met het gevoel van presence. VR weet zo voornamelijk ons zicht en gehoor al behoorlijk te beïnvloeden. De suggestieve werking kan ook wetenschappelijk worden onderbouwd.

Zo legt Michael Abrash ons tijdens de presentatie uit dat de achterste bal in de hier onderstaande ‘illusie’ ook daadwerkelijk als de grotere bal wordt geregistreerd in onze hersenen. Dit zou gebeuren door alle signalen die het perspectief in de afbeelding aan onze hersenen af geeft. In ons hoofd worden allerlei aannames gemaakt die niet waar hoeven te zijn, maar de suggestie is veelal genoeg. Naar de toekomst toe zullen we wellicht slimmere en betere technieken zien die onze sensoren steeds beter weten te overtuigen.

Grote kansen voor de community

Om extra kracht bij te zetten aan het argument dat virtual reality écht een nieuw platform is, wordt er door Oculus een vergelijking getrokken met de invloed die onder andere John Carmack had met de ontwikkeling van DOOM. De klassieke shooter was destijds een unieke prestatie op pc gebied en opende de deuren voor gaming zoals we dat nu kennen. Nu is de pc een zeer toegankelijk platform voor zelfs de kleinste ontwikkelaars. Voor de grote productiehuizen met veel budget is er ook steeds meer mogelijk geworden door de vergrote rekencapaciteit. Sterker nog, gamers verwachten vaak een steeds hoger wordende visuele kwaliteit en grotere werelden om in te spelen.

Virtual reality zou vergelijkbare deuren gaan openen. De zogenaamde ‘killer-app’, de applicatie waarvoor iedereen virtual reality regelmatig of vaak zou willen gebruiken, is momenteel nog niet gemaakt of ontdekt. Gelukkig is de situatie niet identiek aan de vroege start van gaming. Zo kunnen we tegenwoordig goed profiteren van het internet wanneer voor het delen van kennis, informatie is al lang niet meer schaars. Praktisch iedereen kan zijn of haar bevindingen delen en de lat om zelf content te ontwikkelen heeft nog nooit zo laag gelegen. We hebben dan ook al vele initiatieven langs zien komen op de virtual reality markt. Nieuwe soorten controllers, een eye-tracking vr bril, vr variaties op bestaande game-genres en pogingen om een metaverse op te starten. Allerhande initiatieven die, mede door de veel breder beschikbare technologie van tegenwoordig, zorgen voor een snellere én bredere iteratie op virtual reality content. Oculus wil hier in ieder geval haar steentje aan bij dragen en hoopt dat de community ook de gouden kansen ziet die vr te bieden heeft. Will the next John Carmack please stand up?

Verder onderzoek!

Zoals eerder genoemd, zijn we er echter nog niet helemaal. Ook Michael Abrash onderschrijft het belang van verder onderzoek. Veel technologie de we gebruiken om onze eigen menselijke sensoren te beïnvloeden in de jacht op presence voldoet maar nét aan de strenge eisen die virtual reality, en presence als concept, met zich meebrengen. Juist ook hier weer is het van belang om de community te betrekken bij het onderzoek. Door alle tests en ervaringen die mensen gemakkelijk kunnen delen zou het platform veel baat kunnen hebben bij het crowdsourcing effect dat tegenwoordig alom aanwezig is. Vele handen maken licht werk. Belangrijke thema’s zoals presence zullen dan ook zeker niet onaangeraakt blijven. We zullen steeds slimmer en beter onze eigen sensoren kunnen bespelen.

Inhoudelijk is het functioneren van onze hersenen nog altijd een groot mysterie, maar wel een waar serieus aandacht aan wordt besteed. Ook niet al het onderzoek dat virtual reality nog vereist zal direct door de community gedaan kunnen worden. Hoog wetenschappelijk onderzoek zal ook voortgezet moeten worden. Hierbij kun je denken aan performance gerelateerde technologie, zoals extreem krachtige en zuinige videokaarten, en schermtechnologie waar we de pixel density (pixels per inch aan scherm) nog aardig omhoog mogen schroeven. Ook een wetenschappelijke invalshoek voor het thema presence mag natuurlijk niet ontbreken. Waaróm werkt vr af en toe zo extreem goed dat je denkt dat je even vergeet dat de digitale wereld niet echt is? Welke factoren zijn hier in het belangrijkst? Kun je de drempel voor presence verlagen? Zo ja, hoe laag kan deze zijn? Er zijn gelukkig en helaas nog genoeg vragen te stellen. Michael Abrash gaf aan hoe Oculus en Facebook de antwoorden willen gaan zoeken.

Oculus Research

Volgens eigen zeggen is het alweer zo een twintig jaar geleden dat er goed geld werd geïnvesteerd in onderzoek voor virtual reality. Om hier verandering in aan te brengen gaan Oculus en Facebook samen all-in op virtual reality. De all-in komt in de vorm van de oprichting van Oculus Research, een groep bestaande uit een team van onderzoekers, engineers en programmeurs. Het team heeft als hoofddoel om virtual reality én de community voorwaarts te duwen naar de toekomst.

Dat het hier ook echt gaat om de community blijkt uit de samenwerkingen die ze aan gaan. Zo zal het onderzoek niet volledig achter gesloten Facebook deuren blijven liggen op een plank, maar worden onder andere ook universiteiten bij het onderzoek betrokken. Ze geven ook aan dat het draait om het verbeteren van virtual reality als platform en dat het onderzoek dus niet alleen betrekking zal gaan hebben op Oculus. Met deze opzet lijkt Oculus, samen met Facebook, de leidende hand te nemen in de grote hoeveelheid onderzoek wat nog zal moeten plaatsvinden voordat we kunnen genieten van perfecte virtual reality die al onze zintuigen weet te betoveren.

Verbetering op komst

Gelukkig is Oculus ook van mening dat VR groter is dan hen zelf. Het onderzoek moet dus ten goede komen voor de gehele community rondom virtual reality. Om progressie te boeken op dit gebied willen ze onder andere samen werken met universitaire onderzoekers, maar wat willen ze dan gaan verbeteren?

Een belangrijke pijler is visuele kwaliteit. De DK2 levert ongeveer 1 megapixel aan resolutie per oog. Om een kwaliteit te verkrijgen die vergelijkbaar is met de hedendaagse pc monitoren, heb je volgens Abrash ongeveer 8000 bij 8000 (8K) pixels als resolutie pér oog nodig! Dit is een flinke stap omhoog in resolutie ten opzichte van hedendaagse consumentenelektronica, maar zelfs daarmee hoeft virtual reality nog niet compleet te zijn.

Om de kwaliteit van de retina’s in onze ogen te evenaren, moeten we eerder denken aan schermen van 16K bij 16K aan pixels. Hierbij wordt echter nog maar uit gegaan van ongeveer 100 graden gezichtsveld. Het volledige menselijke zichtveld is ongeveer 200 bij 150 graden. De perfecte schermen voor virtual reality zouden dus ongeveer 32K bij 24K resolutie, per oog moeten zijn. Voordat we dit met onze videokaarten überhaupt aan zouden kunnen gaan sturen hebben we nog wel flink aan de weg te timmeren.

Eye tracking lijkt dus een vereiste te gaan worden binnen de toekomst van virtual reality. Door gebruik te maken van eye tracking is het mogelijk om de visuele kwaliteit van de content op het scherm te linken aan je kijkrichting. Onze ogen hebben immers minder ‘resolutie’ aan de rand van ons gezichtsveld. Die gebieden zouden dus prima af kunnen met minder resolutie, en dus minder renderkracht kosten. De term die hiervoor ook wel gebruikt wordt is ‘foveated rendering’, oftewel rendering op basis van je gezichtsveld / kijkrichting.

Daarnaast wordt er ook nog hard gesleuteld aan het verwerken van een betere depth of field oplossing voor vr, zodat we niet scherpstellen op een plat scherm. In proefopstelling is het al mogelijk om met meerdere lagen aan platte beelden een natuurgetrouwer diepte effect te geven. Dit komt natuurlijk weer ten goede van de algehele vr ervaring en vergroot daarmee de kans op immersie. Het betekend dus vooralsnog dat er verschillende ontwikkelingen moeten gebeuren om een écht visueel verbluffende vr ervaring neer te kunnen zetten. Schermtechnologie moet verbeteren, eye-tracking en foveated rendering moeten worden geïmplementeerd en de beschikbare renderkracht moet nog een stuk omhoog.

Daarnaast mogen we ook de andere zintuigen niet vergeten. Het werkveld dat zich bezig houd met bijvoorbeeld haptics (interacties door aanraking) kan óók een sterke toevoeging zijn aan het vr platform. Uiteindelijk wordt wel door Oculus erkent dat niet alle zintuigen even gemakkelijk zijn om op de juiste manier te stimuleren. Ook de vraag of ze allemaal even relevant zijn voor de dag van vandaag lijkt vooral met “niet echt” beantwoord te kunnen worden. Wellicht dat de wat verdere toekomst hier beter op in weet te springen door middel van het directer aansturen en manipuleren van signalen in onze hersenen, maar vooralsnog zal het nog wel even duren voor dat dit soort technieken breed beschikbaar zijn in de vorm van consumenten elektronica.

Op naar de toekomst

Opsommend kunnen we wat ons betreft vrij zeker stellen dat virtual reality dan toch écht hier is. Alle factoren zijn aanwezig. De techniek heeft de minimale ‘drempel’ overschreden en ondertussen is financiëring van virtual reality gerelateerde zaken al goed op gang aan het komen. Grote giganten zoals Google, Samsung, Sony, Valve, HTC én natuurlijk Facebook zien een geweldige VR toekomst voor ogen en zijn bereid investeringen te maken om deze toekomst te realiseren. Doordat de community nu ook op virtual reality in kan springen bevindt de markt zich nu aan het begin van een opwaartse spiraal. De technologie en hardware zal alleen maar beter worden en de content die hiermee mogelijk wordt zal alleen maar zorgen voor meer immersie.

Dit zal weer meer mensen weten te overtuigen van de toegevoegde waarde die vr beloofd. Ook moet het duidelijk wezen dat virtual reality méér is dan slechts een gimmick. De voorlopige vooruitzichten lijken dan ook eerder te duiden op een technologische verandering vergelijkbaar met de introductie van de smartphone, in tegenstelling tot bijvoorbeeld de terugkeer van stereoscopie in de video- en filmindustrie. Virtual reality is dan ook niet een kleine aanpassing van bestaande content, zoals stereoscopie eigenlijk weinig écht veranderd heeft. Nee, virtual reality lijkt in dat opzicht veel meer op de smartphone. Een totaal nieuw platform met nog nooit eerder vertoonde – of eigenlijk ervaren – content, toepassingen en interacties. Dus laat die eerste releases maar komen!