ARKit 3 mensen

Alles over ARKit 3, Apple’s eigen augmented reality platform

Nieuwe functies in ARKit 3 in iOS 13

Dankij ARKit kunnen ontwikkelaars eenvoudig augmented reality toevoegen in hun iPhone- en iPad-apps. Maar wat is Apple's ARKit precies, op welke toestellen werkt het en in welke apps is het beschikbaar? Je leest het in deze gids.

ARKit is Apple’s platform voor augmented reality

Dankzij ARKit maakt Apple het voor ontwikkelaars gemakkelijk om toepassingen voor augmented reality te bouwen. Het gaat zowel om games als om apps voor productiviteit en andere toepassingen. Zo kun je met ARKit laten zien hoe meubels in een bepaalde ruimte eruit zien, nog voordat je ze aanschaft. De nieuwste versie is ARKit 3 in iOS 13. Dit zal in het najaar van 2019 beschikbaar komen, maar je kunt nu al diverse leuke toepassingen zien.

Hieronder lees je wat ARKit is en wat je ermee kunt doen.

ARKit 3: dit is er nieuw

ARKit 3 is de nieuwste versie van ARKit. Het is onderdeel van iOS 13 en zal in het najaar van 2019 beschikbaar komen voor iedereen met een geschikt toestel. Het bevat twee grote vernieuwingen: het laten rondwandelen van mensen in een AR-omgeving en het vastleggen van beweging. Daarnaast heeft Apple de tools RealityKit en Reality Composer uitgebracht, waarmee het makkelijker is om AR-apps te maken.

ARKit 3 werkt alleen op deze toestellen

De functies van ARKit 3 zijn beperkt tot de meest recente toestellen met A12 Bionic-processor. Dit betekent dat je moet beschikken over een:

People Occlusion

De nieuwe functie People Occlusion houdt in dat je mensen realtime in een app kunt laten rondlopen. Mensen zien er niet langer als een spook uit, maar kunnen door het beeld lopen. Objecten houden daar ook rekening mee en zullen voor of achter de persoon te zien zijn. Een persoon kan dus ook achter een heel groot AR-object langs lopen en daarbij onzichtbaar worden.

ARKit 3

Motion capture

Met Motion capture kunnen ontwikkelaars gebruik maken van beweging en houdingen van mensen en dit gebruiken als input voor hun AR-toepassingen. Zo kun je de beweging van een persoon realtime vastleggen met een andere camera. De iPhone begrijpt de lichaamshouding en zet dit om naar de houding van een poppetje. Voorheen had je hier een speciaal pak voor nodig. De camera let op de positie van ledematen en gewrichten.

ARKit 3 beweging

Gelijktijdig gebruik van voor- en achtercamera

Je kunt nu gelijktijdig gebruik maken van de gezichtsherkenning en de herkenning van objecten in de werkelijke wereld. Dit komt omdat ARKit de beelden van camera’s aan de voor- en achterkant kan combineren. Zo kun je bijvoorbeeld objecten besturen met je gezicht.

Samenwerken in AR-games

Je kunt met zogenaamde ‘collaborative sessions’ een gezamenlijke wereldkaart bouwen, waar beide spelers aan mee kunnen doen. Dit maakt het voor ontwikkelaars gemakkelijker om gedeelde AR-ervaringen te maken voor multiplayer-games.

ARKit 3 mensen

Meer functies in ARKit 3

ARKit 3 kan ook meerdere beelden tegelijk verwerken, kan tot drie gezichten herkennen en tracken. Verder kan ARKit 3 beter de grootte van objecten in de werkelijke wereld inschatten. Al deze verbeteringen zorgen ervoor dat AR meer realistisch wordt. Alle nieuwe functies zijn het beste te bekijken in de nieuwe game Minecraft Earth, die tijdens de keynote van WWDC 2019 op het podium werd gedemonstreerd. Dit is een AR-versie van Minecraft waarbij je mensen door het beeld kunt laten lopen en er ook gedeelde multiplayer-speelervaringen mogelijk zijn. Minecraft Earth verschijnt later dit jaar.

RealityKit

RealityKit is een raamwerk voor ontwikkelaars om gemakkelijker virtuele objecten te laten samensmelten met de werkelijke wereld. Ze worden automatisch op de juiste schaal getoond, op meerdere Apple-toestellen. Ook regelt het de netwerk-vereisten en gedeelde AR-ervaringen. Er zitten fotorealistische effecten in voor de omgeving en de camera, meer animaties en audio-effecten. Het werkt native samen met ARKit en heeft een Swift API.

ARKit 3 tools

Reality Composer

Met Reality Composer kunnen ontwikkelaars interactieve scenes bouwen met volledige AR-ondersteuning. Er zijn honderden virtuele objecten beschikbaar die ze kunnen importeren in hun apps. Deze virtuele objecten kunnen worden voorzien van animaties en kunnen reageren op schermtikken, nabijheid en andere triggers. Het is te gebruiken in Xcode en als iOS-app.

ARKit voor augmented reality

ARKit werd tijdens de WWDC van 2017 aangekondigd en is sinds iOS 11 beschikbaar voor de iPhone en iPad. AR staat voor augmented reality, oftewel toegevoegde realiteit. Augmented reality zie je steeds meer in apps. Denk bijvoorbeeld aan het vangen van Pokémon in Pokémon Go of het virtueel plaatsen van meubels in je eigen woning. Met augmented reality voeg je een digitaal object toe aan de realiteit, dankzij de camera van je iPhone. Het lijkt daardoor net alsof het object, bijvoorbeeld een meubelstuk, in je eigen huis staat. Meer over wat augmented reality precies is, lees je in onderstaande gids.

Wat is ARKit?

ARKit is Apple’s eigen platform voor augmented reality. Ontwikkelaars kunnen het gebruiken om AR in te bouwen in apps voor iPhone en iPad. Dankzij de tools van ARKit hoeven ontwikkelaars niet zelf ingewikkelde interacties te programmeren. Ze kunnen gebruikmaken van de bouwstenen die Apple al heeft gemaakt. Het was al langer mogelijk om toepassingen voor augmented reality te maken, maar ARKit maakt het voor ontwikkelaars een stuk eenvoudiger. Bovendien ziet het er vaak veel beter uit.

ARKit tijdens WWDC

Voor ARKit maakt Apple gebruik van een aantal technieken, waaronder Visual Inertial Odometry (VIO). Met deze techniek kan de omgeving gescand worden. Door VIO te combineren met bewegingsinformatie van de sensoren in het iOS-device weet het toestel hoe je beweegt. Het beeld kan dan meebewegen. Hiervoor wordt gebruik gemaakt van Core Motion.

Dankzij de camera in je iPhone en iPad kan ARKit horizontale en verticale vlakken herkennen, zoals tafels, vloeren en muren. Er kunnen allerlei virtuele objecten op deze vlakken worden geplaatst.

ARKit gebruikt ook de camera om de hoeveelheid licht en de lichtval in een kamer vast te stellen. Aan de hand hiervan kan het beeld zo realistisch mogelijk worden gemaakt. Het object lijkt daadwerkelijk in de omgeving te staan, met de juiste schaduwen en dezelfde mate van belichting als de andere objecten in de kamer.

Apple’s AR-tool werkt ook samen met Metal, SceneKit en third-party tools zoals Unity en Unreal Engine, twee middelen die vaak bij het ontwikkelen van games gebruikt worden.

Op welke toestellen werkt ARKit?

Augmented Reality vereist de nodige processorkracht en werkt daarom niet op elke iPhone, iPad en iPod touch. Voor de basisfuncties van augmented reality-functie is een iOS-toestel met minimaal A9-processor nodig. Dat betekent vanaf de iPhone 6s en de 9,7-inch iPad Pro.

De basisfuncties van ARKit werken op onderstaande modellen:

ARKit werkt dus niet op de iPad mini en iPod touch. Zowel de meest recente iPad mini 4 als de zesde generatie iPod touch gebruiken een A8-chip.

Voor ARKit 3 gelden speciale eisen, zoals hierboven aangegeven. Hiervoor heb je minimaal een toestel met A12 Bionic-chip nodig.

Wat is ARKit 2? (vanaf iOS 12)

Tijdens de WWDC 2018 kondigde Apple de opvolger van ARKit aan, genaamd ARKit 2. ARKit 2 maakt onderdeel uit van iOS 12 en introduceert een aantal nieuwe functies en mogelijkheden. Dit zijn de belangrijkste verbeteringen:

  • Gedeelde ervaringen: multiplayer AR
  • Persistente AR: later verdergaan met AR zonder opnieuw te beginnen
  • Beelddetectie en -tracking: detectie van 3D-objecten en weerspiegelingen uit de echte wereld
  • USDZ: nieuw bestandsformaat voor augmented reality-apps

Multiplayer-games in AR

De eerste versie van ARKit is vooral leuk in games die je zelf kan spelen. Omdat alleen jij op je iPhone of iPad kijkt, ben jij de enige die de augmented reality-effecten ziet. In ARKit 2 komt daar verandering in, want dankzij gedeelde ervaringen kun je bijvoorbeeld ook multiplayergames spelen in AR. Je staat bijvoorbeeld, ieder met een eigen iPad of iPhone, tegenover elkaar terwijl je met lasers tegen elkaar schiet. Behalve voor games werkt dit ook bij alle andere AR-apps. Denk bijvoorbeeld aan een app waarmee je je huis opnieuw kan inrichten. Ontwikkelaars krijgen daarnaast de mogelijkheid om een toeschouwermodus in te bouwen. Hiermee kan je kijken hoe een AR-game verloopt, zonder dat je zelf actief mee hoeft te spelen.

Tijdens de WWDC lieten de makers van een LEGO AR-app al zien hoe dit er in de praktijk uit ziet. Op het podium werden twee iPads gebruikt waarbij een LEGO-stad tot leven kwam.

Persistente AR

Dankzij een functie genaamd persistente AR kun je verdergaan waar je gebleven was. Stel je richt je huis opnieuw in dankzij een AR-app, zodat je kan zien hoe die nieuwe bank of eettafel in jouw woning staat. Als je op een later moment verder wil gaan met inrichten, hoef je met persistente AR niet helemaal opnieuw te beginnen. De virtuele objecten die je via je iPhone of iPad in je woning plaatst, blijven gewon achter. Dit komt ook van pas bij het maken van een heel kunstwerk in augmented reality.

Beelddetectie en -tracking

ARKit herkent al horizontale en verticale vlakken, maar in ARKit 2 wordt dit uitgebreid. In iOS 12 kan ARKit ook 3D-objecten detecteren. Denk bijvoorbeeld aan speelgoed, zoals in de demonstratie hierboven al te zien is. Bovendien kunnen weerspiegelingen geprojecteerd worden op de objecten die in AR zichtbaar zijn. Dankzij deze verbeteringen moeten de effecten van AR nog realistischer zijn dan voorheen.

LEGO met ARKit 2.

USDZ: bestandsformaat voor AR

Apple heeft samen met Pixar het nieuwe bestandsformaat USDZ ontwikkeld, gebaseerd op het systeem Universal Dscene Description dat door Pixar gemaakt is. Dankzij USDZ kunnen websites, apps en ontwerpers 3D-afbeeldingen maken die op de iPhone en iPad tot leven komen. USDZ werkt in Berichten, Safari, Mail, Bestanden en meer, zodat deze afbeeldingen in die apps tot leven komen. Als een webshop USDZ-versies van haar producten op de website zet, kun je deze voorwerpen dankzij Quick Look in de echte wereld plaatsen. Je hoeft dan dus geen hele AR-app te downloaden, want alleen het specifieke object komt dankzij USDZ tot leven.

USDZ is een open-source formaat, waardoor iedereen er dus mee aan de slag kan. Adobe heeft al aangekondigd om USDZ te gaan ondersteunen in Creative Cloud, waardoor je het formaat dus gaat zien in programma’s als Photoshop voor het maken van AR-content. Er komt ook een nieuwe AR-app van Adobe waarmee iedereen eigen augmented reality-ervaringen kan maken.

Nieuwe Meten-app van Apple

Apple is zelf ook aan de slag gegaan met ARKit 2 en levert in iOS 12 standaard de Meten / Measure-app mee. Met deze app kun je echte voorwerpen meten met je iPhone of iPad. In onze tip over de Meten-app lees je hoe dit precies werkt, wat je nodig hebt en hoe nauwkeurig dit is.

De verbeterde ARKit 2 maakt onderdeel uit van iOS 12. Deze vier nieuwe functies zijn vanaf het najaar voor iedereen beschikbaar zodra iOS 12 te downloaden is.

Wanneer en in welke apps werkt ARKit?

ARKit is sinds september 2017 beschikbaar op geschikte toestellen als onderdeel van iOS 11. Apps moeten wel aangepast worden om er gebruik van te maken. Pokémon Go heeft bijvoorbeeld de AR+ modus, waarmee het vangen van Pokémon in augmented reality realistischer is dan voorheen.

Pokémon Go met augmented reality dankzij ARKit.

IKEA heeft de app IKEA Place, waar ze samen met Apple aan gewerkt hebben. Met deze app kun je IKEA-meubels dankzij augmented reality in je eigen huis plaatsen. De app werkt met ARKit, zodat er geen markeringen nodig zijn om de meubels op realistische wijze in je eigen omgeving te plaatsen.

Apps met ARKit

Ontwikkelaars hebben al een hele reeks aan apps uitgebracht die gebruikmaken van ARKit. Van apps waarmee je een plattegrond van je woning maakt, tot grappige games waarin je een vliegtuigje bestuurt. In onderstaande gids hebben we een lijst van augmented reality-apps opgesteld die gebruikmaken van ARKit, zodat je zelf kunt ervaren hoe ARKit precies werkt.

Voorbeelden van ARKit

Al voordat ARKit beschikbaar kwam, waren er diverse voorbeelden te vinden waarin te zien is hoe ARKit zorgt voor een realistischere weergave van augmented reality. Op YouTube hadden ontwikkelaars hun eerste bevindingen gepost, waardoor goed te zien is hoe ARKit in de praktijk werkt. Wat opvalt is dat de belichting vaak goed is en het object op exact dezelfde plek staat, zelfs als je met de camera van je iPhone of iPad wegkijkt.

Bekijk in ons overzicht nog meer voorbeelden van het gebruik van ARKit in allerlei techdemo’s. Je vindt hier ook voorbeelden die nog niet in apps verwerkt zijn, waardoor het een goed beeld geeft wat er allemaal mogelijk is.

Suggestie hoe we dit artikel kunnen verbeteren? Laat het ons weten!

Informatie

Laatst bijgewerkt juni 2019
Software iOS 11, iOS 12