IKEA Place op iPad Pro met LiDAR Scanner.

Alles over ARKit 4, Apple’s eigen augmented reality platform

Nieuwe versie verbetert gezichtstracking

Dankzij ARKit kunnen ontwikkelaars eenvoudig augmented reality toevoegen in hun iPhone- en iPad-apps. Maar wat is Apple's ARKit precies, op welke toestellen werkt het en in welke apps is het beschikbaar? Je leest het in deze gids.

ARKit is Apple’s platform voor augmented reality

Dankzij ARKit maakt Apple het voor ontwikkelaars gemakkelijk om toepassingen voor augmented reality te bouwen. Het gaat zowel om games als om apps voor productiviteit en andere toepassingen. Zo kun je met ARKit laten zien hoe meubels in een bepaalde ruimte eruit zien, nog voordat je ze aanschaft. De nieuwste versie is ARKit 4 in iOS 14 en iPadOS 14. Het maakt onder meer volop gebruik van de nieuwe LiDAR Scanner van de iPad Pro.

Hieronder lees je wat ARKit is en wat je ermee kunt doen.

Augmented reality met ARKit

ARKit werd tijdens de WWDC van 2017 aangekondigd en is sinds iOS 11 beschikbaar voor de iPhone en iPad. AR staat voor augmented reality, oftewel toegevoegde realiteit. Augmented reality zie je steeds meer in apps. Denk bijvoorbeeld aan het vangen van Pokémon in Pokémon Go of het virtueel plaatsen van meubels in je eigen woning. Met augmented reality voeg je een digitaal object toe aan de realiteit, dankzij de camera van je iPhone. Het lijkt daardoor net alsof het object, bijvoorbeeld een meubelstuk, in je eigen huis staat. Meer over wat augmented reality precies is, lees je in onderstaande gids.

Nieuw in iOS 14: ARKit 4

Tijdens WWDC 2020 kondigde Apple ARKit 4 aan. Dit zijn de belangrijkste vernieuwingen:

Depth API

Met de nieuwe Depth API kunnen ontwikkelaars de LiDAR Scanner in de iPad Pro nog gedetailleerdere dieptemetingen doen. Per pixel wordt informatie over de absolute afstand tot een object berekend. Samen met andere AR-trucjes worden virtuele objecten beter in de ruimte geplaatst en ziet het er nog realistischer uit. Ook duurt het minder lang tot een object neergezet wordt.

Location Anchors

Location Anchors zijn AR-objecten die op echte locaties kunnen worden vastgezet door een app. Ontwikkelaars kunnen dit met exacte coördinaten bepalen. Gebruikers kunnen om deze objecten heen lopen alsof het museumstukken zijn. Een realistische toepassing voor deze techniek is voor een looptour-app van een stad. Loop je bijvoorbeeld door een middeleeuwse stad, dan kan een dergelijke app objecten neerzetten waardoor het lijkt alsof je je in de middeleeuwen bevindt. Apple zegt dat dit alleen in ‘bepaalde’ steden beschikbaar is.

ARKit 4 Location Anchors in San Francisco op iPad Pro

Uitgebreidere Face Tracking

Face Tracking bestond al voor ARKit, maar vanaf ARKit 4 werkt dit ook met de selfiecamera. Je kunt tot drie gezichten tegelijk tracken. Hiermee maakt je iPhone het mogelijk om bijvoorbeeld realistischere filters over je gezicht te plakken tijdens het maken van een foto. Apple noemt zelfs Snapchat als voorbeeld van een app die hiervoor gebruik kan maken. Het werkt voor apparaten met een A12 Bionic chip en nieuwer.

Wat is ARKit?

ARKit is Apple’s eigen platform voor augmented reality. Ontwikkelaars kunnen het gebruiken om AR in te bouwen in apps voor iPhone en iPad. Dankzij de tools van ARKit hoeven ontwikkelaars niet zelf ingewikkelde interacties te programmeren. Ze kunnen gebruikmaken van de bouwstenen die Apple al heeft gemaakt. Het was al langer mogelijk om toepassingen voor augmented reality te maken, maar ARKit maakt het voor ontwikkelaars een stuk eenvoudiger. Bovendien ziet het er vaak veel beter uit.

ARKit tijdens WWDC

Voor ARKit maakt Apple gebruik van een aantal technieken, waaronder Visual Inertial Odometry (VIO). Met deze techniek kan de omgeving gescand worden. Door VIO te combineren met bewegingsinformatie van de sensoren in het iOS-device weet het toestel hoe je beweegt. Het beeld kan dan meebewegen. Hiervoor wordt gebruik gemaakt van Core Motion.

Dankzij de camera in je iPhone en iPad kan ARKit horizontale en verticale vlakken herkennen, zoals tafels, vloeren en muren. Er kunnen allerlei virtuele objecten op deze vlakken worden geplaatst.

ARKit gebruikt ook de camera om de hoeveelheid licht en de lichtval in een kamer vast te stellen. Aan de hand hiervan kan het beeld zo realistisch mogelijk worden gemaakt. Het object lijkt daadwerkelijk in de omgeving te staan, met de juiste schaduwen en dezelfde mate van belichting als de andere objecten in de kamer.

Apple’s AR-tool werkt ook samen met Metal, SceneKit en third-party tools zoals Unity en Unreal Engine, twee middelen die vaak bij het ontwikkelen van games gebruikt worden.

Op welke toestellen werkt ARKit?

Augmented Reality vereist de nodige processorkracht en werkt daarom niet op elke iPhone, iPad en iPod touch. Voor de basisfuncties van augmented reality-functie is een iOS-toestel met minimaal A9-processor nodig. Dat betekent vanaf de iPhone 6s en de 9,7-inch iPad Pro.

De basisfuncties van ARKit werken op onderstaande modellen:

Apple brengt regelmatig updates uit voor ARKit. Dit gaat meestal gepaard met de jaarlijkse grote software-update, maar soms ook tussendoor. Per ARKit-versie verschillen de toestellen die van bepaalde functies gebruik kunnen maken.

ARKit 3 en ARKit 3.5: augmented reality verder verbeterd

Er zijn twee versies geweest van ARKit 3, namelijk versie 3 en 3.5. Hieronder lees je over de vernieuwingen die deze versies brachten.

ARKit 3.5

Apple verbeterde in ARKit 3.5 enkele onderdelen die vooral gefocust waren op de destijds nieuwe LiDAR Scanner op de iPad Pro.

Scene Geometry

Met deze functie kan een app een geometrische kaart van de omgeving maken. Het apparaat is zich meer bewust van vloeren, muren, plafonds, ramen, deuren en stoelen, waardoor virtuele objecten zich beter kunnen plaatsen in de daadwerkelijke omgeving.

Instant AR

Het is niet meer nodig om een AR-app te kalibreren, want dankzij de LiDAR Scanner herkent de app een omgeving direct. Je kan daardoor meteen AR-objecten in de omgeving plaatsen. Alle AR-apps maken hier op de nieuwste iPad Pro meteen gebruik van.

Verbeterde Motion Capture en People Occlusion

Sinds ARKit 3 zijn augmented reality-apps zich meer bewust van mensen die door de omgeving lopen. AR-objecten verschijnen daardoor netjes achter een persoon als deze ervoor langs loopt. In combinatie met ARKit 3.5 op de iPad Pro is dit verder verbeterd. Ook het meten van de hoogte is dankzij de verbeterde motion capture verder geoptimaliseerd. Ook hier is geen wijziging in de code van een AR-app vereist.

ARKit 3

ARKit 3 is onderdeel van iOS 13 en iPadOS 13 en verscheen in het najaar van 2019 voor iedereen met een geschikt toestel. Het bevatte twee grote vernieuwingen: het laten rondwandelen van mensen in een AR-omgeving en het vastleggen van beweging. Daarnaast bracht Apple de tools RealityKit en Reality Composer uit, waarmee het makkelijker is om AR-apps te maken.

People Occlusion

De nieuwe functie People Occlusion houdt in dat je mensen realtime in een app kunt laten rondlopen. Mensen zien er niet langer als een spook uit, maar kunnen door het beeld lopen. Objecten houden daar ook rekening mee en zullen voor of achter de persoon te zien zijn. Een persoon kan dus ook achter een heel groot AR-object langs lopen en daarbij onzichtbaar worden.

Motion capture

Met Motion capture kunnen ontwikkelaars gebruik maken van beweging en houdingen van mensen en dit gebruiken als input voor hun AR-toepassingen. Zo kun je de beweging van een persoon realtime vastleggen met een andere camera. De iPhone begrijpt de lichaamshouding en zet dit om naar de houding van een poppetje. Voorheen had je hier een speciaal pak voor nodig. De camera let op de positie van ledematen en gewrichten.

ARKit 3 beweging

Gelijktijdig gebruik van voor- en achtercamera

Je kon sinds ARKit 3 gelijktijdig gebruikmaken van de gezichtsherkenning en de herkenning van objecten in de werkelijke wereld. Dit komt omdat ARKit de beelden van camera’s aan de voor- en achterkant kan combineren. Zo kun je bijvoorbeeld objecten besturen met je gezicht.

Samenwerken in AR-games

Je kunt met zogenaamde ‘collaborative sessions’ een gezamenlijke wereldkaart bouwen, waar beide spelers aan mee kunnen doen. Dit maakt het voor ontwikkelaars gemakkelijker om gedeelde AR-ervaringen te maken voor multiplayer-games.

RealityKit

RealityKit is een raamwerk voor ontwikkelaars om gemakkelijker virtuele objecten te laten samensmelten met de werkelijke wereld. Ze worden automatisch op de juiste schaal getoond, op meerdere Apple-toestellen. Ook regelt het de netwerk-vereisten en gedeelde AR-ervaringen. Er zitten fotorealistische effecten in voor de omgeving en de camera, meer animaties en audio-effecten. Het werkt native samen met ARKit en heeft een Swift API.

ARKit 3 tools

Reality Composer

Met Reality Composer kunnen ontwikkelaars interactieve scenes bouwen met volledige AR-ondersteuning. Er zijn honderden virtuele objecten beschikbaar die ze kunnen importeren in hun apps. Deze virtuele objecten kunnen worden voorzien van animaties en kunnen reageren op schermtikken, nabijheid en andere triggers. Het is te gebruiken in Xcode en als iOS-app.

ARKit 2

Tijdens de WWDC 2018 kondigde Apple ARKit 2 aan. ARKit 2 maakte onderdeel uit van iOS 12 en introduceerde een aantal nieuwe functies en mogelijkheden. Dit waren de belangrijkste verbeteringen:

Multiplayer-games in AR

Sinds ARKit 2 kun je ook multiplayergames spelen in AR. Je staat bijvoorbeeld, ieder met een eigen iPad of iPhone, tegenover elkaar terwijl je met lasers tegen elkaar schiet. Behalve voor games werkt dit ook bij alle andere AR-apps. Denk bijvoorbeeld aan een app waarmee je je huis opnieuw kan inrichten. Ontwikkelaars krijgen daarnaast de mogelijkheid om een toeschouwermodus in te bouwen. Hiermee kan je kijken hoe een AR-game verloopt, zonder dat je zelf actief mee hoeft te spelen.

Persistente AR

Dankzij een functie genaamd persistente AR kun je verdergaan waar je gebleven was. Stel je richt je huis opnieuw in dankzij een AR-app, zodat je kan zien hoe die nieuwe bank of eettafel in jouw woning staat. Als je op een later moment verder wil gaan met inrichten, hoef je met persistente AR niet helemaal opnieuw te beginnen. De virtuele objecten die je via je iPhone of iPad in je woning plaatst, blijven gewoon achter. Dit komt ook van pas bij het maken van een heel kunstwerk in augmented reality.

Beelddetectie en -tracking

Sinds ARKit 2 kunnen ook 3D-objecten gedetecteerd worden, naast alleen horizontale en verticale vlakken. Denk bijvoorbeeld aan speelgoed. Bovendien kunnen weerspiegelingen geprojecteerd worden op de objecten die in AR zichtbaar zijn. Dankzij deze verbeteringen moeten de effecten van AR nog realistischer zijn dan voorheen. Apple bracht ook een Meten-app uit om oppervlakte te meten, maar dat werkte alleen voor horizontale en verticale afstanden.

USDZ: bestandsformaat voor AR

Apple heeft samen met Pixar het bestandsformaat USDZ ontwikkeld, gebaseerd op het systeem Universal Scene Description dat door Pixar gemaakt is. Dankzij USDZ kunnen websites, apps en ontwerpers 3D-afbeeldingen maken die op de iPhone en iPad tot leven komen. USDZ werkt in Berichten, Safari, Mail, Bestanden en meer, zodat deze afbeeldingen in die apps tot leven komen. Als een webshop USDZ-versies van haar producten op de website zet, kun je deze voorwerpen dankzij Quick Look in de echte wereld plaatsen. Je hoeft dan dus geen hele AR-app te downloaden, want alleen het specifieke object komt dankzij USDZ tot leven. USDZ is een open-source formaat, waardoor iedereen er dus mee aan de slag kan.

Apps met ARKit

Ontwikkelaars hebben al een hele reeks aan apps uitgebracht die gebruikmaken van ARKit. Van apps waarmee je een plattegrond van je woning maakt, tot grappige games waarin je een vliegtuigje bestuurt. In onderstaande gids hebben we een lijst van augmented reality-apps opgesteld die gebruikmaken van ARKit, zodat je zelf kunt ervaren hoe ARKit precies werkt.

Suggestie hoe we dit artikel kunnen verbeteren? Laat het ons weten!

Informatie

Laatst bijgewerkt juli 2020
Software iOS, iPadOS