Daydream Labs en Google Research experimenteren met technologie om buitenstaanders te tonen wat een persoon met vr-bril in virtual reality ziet, inclusief de gezichtsuitdrukkingen van die persoon. Ze ‘verwijderen’ bij de mixedreality-weergave de vr-bril.Volgens Google is het een probleem dat je niet kan zien wat een vr-brildrager ziet en is het ook een obstakel dat meerdere personen in een vr-omgeving elkaars gezichtsexpressie niet kunnen zien. Met avatars kan dat laatste wel, maar Google test met mixed reality om tot een weergave te komen waarbij virtual reality en de werkelijke persoon gecombineerd worden.

De onderzoekers genereren daarvoor met een camera een 3d-model van iemands gezicht, wat minder dan een minuut duurt. Vervolgens bouwen ze een database met uitdrukkingen als kijkrichtingen en oogknipperen door gebruikers naar een bewegend punt op het scherm te laten kijken.

Voor de mixedrealitybeelden neemt een camera simpelweg de gebruiker voor een green screen op, om de weergave van de virtualrealitywereld daarna op de achtergrond te projecteren. Een marker op de headset helpt bij de kalibratie tussen camera en vr-bril. Door deze kalibratie kan het 3d-gezichtsmodel over de vr-bril gelegd worden, ook als de gebruiker zijn hoofd beweegt.In de HTC Vive die de onderzoekers gebruiken, zijn oogtrackingtechnieken van SMI verwerkt. De informatie van die sensoren wordt gekoppeld met de database met oogbewegingen, waardoor een realtime-representatie van de ogen over de vr-bril gelegd kan worden. Google gebruikt 3d-vision- en machinelearning-technologie om lichtval en andere aanpassingen door te voeren die de weergave natuurlijker maken.

Daydream Labs en Google Research verwachten dat de sociale interactie in vr-omgevingen gaat toenemen. Hun experimenten om de headset minder aanwezig te maken, kan helpen bij natuurlijker weergave van videoconferencing en gaming in vr, zo verwachten ze.