LiDAR Scanner: dit kun je doen met de 3D-sensor in iPhones en iPads

Je hebt de afgelopen tijd misschien wel eens iets gelezen over een time-of-flight sensor en een 3D-camera. Hierbij wordt ook wel gesproken over een LiDAR Scanner, die je ook tegenkomt in zelfrijdende auto’s omdat hiermee afstanden goed kunnen worden ingeschat. Maar wat is een LiDAR Scanner precies en wat kun je ermee?

• Geschikte toestellen
• Uitleg
• Mogelijkheden

Welke toestellen hebben LiDAR?

Je vindt de LiDAR Scanner in de volgende apparaten:

• iPhone 13 Pro (Max)
• iPhone 12 Pro (Max)
• iPad Pro 2021
• iPad Pro 2020

Het lijkt er dus op dat deze sensor vooral is voorbehouden voor de Pro-apparaten. De iPad Pro 2020 was het eerste apparaat dat deze sensoren heeft en sinds de iPhone 12-serie vind je het in de Pro-modellen.

Wat is LiDAR?

LiDAR staat voor Light Detection and Ranging. Het is een techniek waarmee een apparaat de omgeving kan scannen en zo afstanden tot objecten kan berekenen. In zelfrijdende auto’s wordt dit vaak gebruikt in combinatie met andere technieken, zoals radar.

LiDAR maakt gebruik van kleine onzichtbare lasers. Door de weerkaatsing tegen een object, meet het apparaat hoe lang het duurt voordat het licht gereflecteerd wordt. Op basis hiervan wordt dan een berekening gemaakt van de afstand tot een object. Vandaar dat dit ook wel time-of-flight (ToF) genoemd wordt: de tijd waarmee het licht door de lucht ‘vliegt’. De NASA maakt ook gebruik van LiDAR voor Mars-landingen.

Op de iPad Pro vinden we de LiDAR Scanner in de camerabult, rechts naast de twee lenzen. De LiDAR Scanner werkt samen met de camera’s, bewegingssensoren en de snelle processor om zo de omgeving te scannen, afstanden te meten en objecten te herkennen. De LiDAR Scanner in Apple-apparaten kan objecten tot 5 meter afstand scannen. Elke seconde worden er heel veel lasers verstuurd en ontvangen, waardoor er veel berekeningen aan te pas komen. De A12Z-chip verwerkt al die processen.

Op de iPhone 12 Pro (Max) is de LiDAR Scanner te herkennen aan het zwarte stipje in de camerabult. Apple zegt er zelf over: “De Pro-serie heeft een geheel nieuwe LiDAR-scanner, die de lichtafstand kan meten en gebruik kan maken van informatie over pixeldiepte. Deze technologie zorgt voor snellere en realistischere AR-ervaringen en voor een zes keer snellere autofocus bij weinig licht, waardoor foto’s en video’s scherper worden en de opnametijd korter wordt.” Het is dus niet alleen handig voor AR (zoals op de iPad Pro) maar ook voor scherpere foto’s en een betere beeldkwaliteit.

Wat kun je met de LiDAR Scanner? Wat zijn de mogelijkheden?

Zoals hierboven aangegeven wordt de LiDAR Scanner op de iPhone vooral gebruikt om sneller diepte te kunnen bepalen bij het fotograferen. Dit levert scherpere foto’s op, vooral bij fotograferen onder matige lichtomstandigheden. De foto hieronder is een voorbeeld, gemaakt door Apple zelf.

Snapchat gebruikt de LiDAR Scanner gebruiken voor speciale lenzen. Hiervoor wordt Lens Studio beschikbaar gesteld. De scanner meet de omgeving op zodat de Snapchat-lens een realistischer beeld kan geven van objecten en oppervlakken. Door de kracht van de A14 Bionic-chip en ARKit te combineren kun je wel duizenden augmented reality-objecten realtime in beeld laten verschijnen.

In de iPad Pro gebruikt Apple de LiDAR Scanner vooral om de augmented reality-functies te verbeteren. Als je wel eens een AR-app gebruikt hebt, herken je het wel dat je de app moet kalibreren voordat je de augmented reality-functies kan gebruiken. Je moet je iPhone of iPad dan heen en weer bewegen, zodat de camera’s de omgeving kunnen scannen. Dankzij de LiDAR Scanner gebeurt dat veel sneller: de omgeving wordt direct herkend en de dieptes kunnen veel nauwkeuriger worden gemeten.

Ook is het apparaat met de LiDAR Scanner zich meer bewust van de omgeving. Dat betekent dat je bijvoorbeeld een virtuele stoel achter een object in de echte wereld kan zetten, zoals bijvoorbeeld een tafel. Hierdoor mengen virtuele objecten zich veel beter in de echte wereld, met als resultaat een veel natuurlijkere weergave. Ook blijven AR-objecten beter op hun plek terwijl jij er omheen loopt en houden ze meer rekening met de aanwezigheid van echte personen. Dat betekent dus dat je tussen AR-objecten door kan lopen, zonder dat deze allemaal vóór de persoon in beeld verschijnen.

Apple’s eigen Meten-app maakt ook volop gebruik van de nieuwe mogelijkheden. Metingen worden sneller uitgevoerd en je kan nu automatisch iemands lengte opmeten. Er is ook een nieuwe Ruler View, waarmee je gedetailleerdere metingen kunt maken. Al deze metingen kun je opslaan met bijbehorende screenshots, zodat je deze later nog kan raadplegen.

Ook andere ontwikkelaars zijn met de LiDAR Scanner aan de slag gegaan. De IKEA Place-app heeft een nieuwe Studio Mode gekregen waarmee je complete kamers kan inrichten. De eerdere app liet je een enkel meubelstuk in je woonkamer plaatsen, maar met de nieuwe geavanceerde Studio Mode richt je je hele huis in. Ook in games kan dit van pas komen. Zo heeft de Apple Arcade-game Hot Lava een nieuwe AR-modus gekregen. Daarin wordt je eigen woonkamer omgetoverd tot een speelveld vol met lava.

Alle apps die gebouwd zijn met ARKit, Apple’s eigen ontwikkeltool voor augmented reality-apps, profiteren al direct van de LiDAR Scanner. Zo is het bij deze apps niet meer nodig om eerst te kalibreren en de omgeving te scannen. Ontwikkelaars van deze apps hoeven hier niets voor te doen.

Bekijk ook

Dit zijn de leukste augmented reality-apps met ARKit

Welke ARKit-apps zijn de moeite waard? In deze gids zetten we de beste ARKit-apps op een rij. Van games tot handige apps voor in en rondom je huis: er is voor ieder wat wils.