Vision Pro Persona’s vanaf nu Spatial: wat is het en wat kun je ermee?

Met de komst van de Vision Pro-headset moeten we wennen aan veel nieuwe termen. Het computergebruik in de ruimte heet spatial computing en het werkt met een nieuw besturingssysteem genaamd visionOS. Ook is er nieuw type poppetje dat op jou lijkt: de Persona. Tijdens een FaceTime-gesprek kun je de drager van de Vision Pro toch zien, ook al kan diegene geen camera op zichzelf richten. Je kunt vrienden in de ogen kijken, ziet gezichtsuitdrukkingen en kunt reageren op beweging en lichaamstaal. En de Persona’s zijn nu nog veel ruimtelijker dankzij de Spatial Persona.

• Persona voor FaceTime
• Zo maak je je eigen digitale Persona
• Normale vs Spatial Persona

Persona voor FaceTime

Met een Vision Pro-headset op je gezicht kun je FaceTime-gesprekken voeren. Als meerdere deelnemers daarbij een headset op hun gezicht hebben, ziet het er wat vreemd uit. Apple heeft daarom iets anders bedacht, waardoor anderen toch je volledige gezicht (en meer) kunnen zien. Met behulp van kunstmatige intelligentie en 3D wordt een afbeelding van je gezicht gemaakt, voorzien van realtime animaties. Dit gezicht lijkt sprekend op jou en beweegt op dezelfde manier. Qua werking heeft het wat weg van de bewegende Memoji, die ook je gezichtsuitdrukking volgt. Maar het grote verschil is dat Persona veel realistischer is en daardoor beter geschikt is voor zakelijke toepassingen. Voor het maken van zo’n digitale persona moet je je gezicht scannen. Dankzij Optic ID kan alleen jij je Persona gebruiken.

Bekijk ook

Optic ID: een nieuwe manier om jou te herkennen

Na Touch ID en Face ID heeft Apple een nieuwe manier voor authenticatie op basis van lichamelijke kenmerken. Optic ID werkt met een irisscanner.

De Persona-functie is alleen te gebruiken met de Vision Pro. Op dit moment is Persona officieel nog een betafunctie, ook al is het wel beschikbaar voor iedereen die al een Vision Pro heeft. Dat het een betafunctie is, zegt vooral dat het nog niet (altijd) vlekkeloos zal werken. Er kunnen nog foutjes in zitten. Apple markeert dergelijke grote nieuwe functies vaker de eerst periode als betafunctie. Pas later, na meerdere software-updates, zal Apple het beta-label erbij verwijderen. Vanaf dan is het een volwaardige functie die (als het goed is) vlekkeloos werkt.

Zo maak je je eigen digitale Persona

Dankzij Face ID zijn we al jaren vertrouwd met het scannen van ons gezicht om iPhones te kunnen ontgrendelen. De interne camera’s van de Vision Pro kunnen alleen je ogen zien, maar voor FaceTime en andere videoconferentie-toepassingen moet Apple een beeld hebben van je volledige gezicht. Dit wordt gedaan met de camera’s aan de buitenkant van de Vision Pro. Je houdt de headset voor je gezicht (zie foto) om een scan te maken. Op basis daarvan maakt Apple een digitale Persona.

Het maken van een Persona met de Vision Pro, werkt zo:

1. Zet de Vision Pro op en ga naar Settings > Persona.
2. Tik op Get Started.
3. Volg de instructies. Zorg voor voldoende egaal licht en voorkom sterke schaduwen, zodat de contouren van je gezicht zo goed mogelijk herkend worden.
4. Maak eerst een scan van je handen terwijl je de Vision Pro draagt.
5. Vervolgens zet je de Vision Pro af en richt je de voorkant naar je gezicht. Volg de gesproken instructies en kantel je hoofd naar rechts, links, omhoog en beneden. Ook moet je verschillende gezichtsuitdrukkingen doen.
6. Zet de Vision Pro weer op om het maken van je Persona af te ronden. Je kunt nu nog enkele instellingen wijzigen, zoals de belichting (vergelijkbaar met portretfoto’s). Je kan ook nog kiezen of en wat voor bril je Persona draagt.
7. Sla je Persona op.

Het lijkt wel een beetje op een deepfake en dat is meteen ook het probleem. Het is lastig om een digitale figuur echt realistisch na te maken. Daarom wordt ook wel gesproken over het ‘uncanny valley-effect’: het onbehaaglijke gevoel dat je krijgt, omdat je het idee hebt dat er iets niet klopt. Het lijkt realistisch, maar je ziet toch duidelijk dat het geen echte persoon is. Ook al imiteert de digitale versie alle gezichtsuitdrukkingen en beweegt hij op precies dezelfde manier als de werkelijke persoon.

Apple heeft toegegeven dat het geschikt maken van FaceTime op de Vision Pro enorme technische uitdagingen met zich meebracht. De demo tijdens WWDC 2023 zag er nog steeds wat robot-achtig uit en de mondbewegingen zijn niet perfect 1-op-1. Apple heeft gekozen voor een zo realistisch mogelijke weergave en heeft het zichzelf daarmee extra moeilijk gemaakt. Concurrent Meta (voorheen Facebook) heeft voor de metaverse juist het omgekeerde heeft gedaan: daar zie je een soort getekende figuurtjes, die duidelijk niet realistisch bedoeld zijn.

Apple had eerder ook al zo’n cartoonachtige weergave van jouzelf, in de vorm van Memoji. Die imiteert ook jouw gezichtsuitdrukkingen en bewegingen, maar het is nooit echt gangbaar geworden om ze te gebruiken tijdens videochatten.

Waarschijnlijk zullen mensen voor FaceTime met familieleden en vrienden liever kiezen voor bellen met de iPhone, iPad of Mac, zodat je de werkelijke persoon via de camera ziet. Voor videoconferenties en vergaderen met collega’s kan het handiger zijn om de digitale Persona te gebruiken, zodat je privéomgeving niet in beeld komt.

De Persona houdt ook rekening met de richting waar de gebruiker op kijkt. Als je met meerdere personen die allemaal een Vision Pro-headset gebruiken een FaceTime-gesprek voert, zie je aan de richting die ze op kijken hoe ze ten opzichte van elkaar gepositioneerd zijn. Stel je bent met z’n drieen aan het videobellen en je kijkt de richting op van degene die praat, zien de anderen dat de Persona ook diezelfde richting op kijkt. Hiermee wordt een daadwerkelijk conversatie in de echte wereld gesimuleerd. YouTuber Brian Tong laat in een video zien hoe dit er in de praktijk uit ziet.

Normale en Spatial Persona

De normale fotorealistische weergave heet simpelweg Persona. Het is bedoeld voor videogesprekken. Je gezicht staat daarbij op een soort transparante tegel. Tijdens de WWDC van 2023 liet Apple ook al een meer geavanceerdere versie van de Persona zien. Deze heet Spatial Persona en heeft geen transparante tegel meer.

Hieronder zie je een normale Persona, op een tegel:

Haal je de transparante tegel weg, dan ontstaat een Spatial Persona voor FaceTime. Deze avatars zien er nog realistischer uit omdat ze meer onderdeel zijn van de omgeving. Daarmee lijkt het alsof meerdere personen in dezelfde fysieke ruimte aanwezig zijn. De transparante achtergrond is weg en je ziet meer beweging en lichaamstaal. Het zou vooral van pas komen tijdens SharePlay-sessies, waarbij het de indruk moet wekken dat je allemaal in dezelfde ruimte bent.

Hieronder zie je een Spatial Persona:

Net als de gewone Persona-functie, zijn de Spatial Persona officieel nog gemarkeerd als betafunctie. Iedereen met een Vision Pro kan het gebruiken (ook zonder beta van visionOS), maar door het als beta te labelen waarschuwt Apple dat er nog wel foutjes kunnen zitten. Je activeert de Spatial Persona door een gewone Persona te gebruiken (bijvoorbeeld in FaceTime) en daarna het Bedieningspaneel te openen. Vervolgens kun je de Persona lostrekken van zijn eigen virtuele tegen en in je eigen omgeving plaatsen.