Lichaams- en handherkenning in iOS 14 geeft unieke mogelijkheden

Vision-raamwerk in iOS 14

Zo kan een app bijvoorbeeld kijken of je een fitnessoefening wel goed uitvoert. Apple gaat hiervoor het Vision-raamwerk in iOS 14 en macOS Big Sur uitbreiden. Daarmee wordt het mogelijk om specifieke lichaamshoudingen en de positie van de hand te registreren. Het gaat daarbij om bewegingen en houdingen. Apple geeft zelf een aantal toepassingsmogelijkheden, zoals een fitnessapp die bijhoudt of je een oefening wel goed wordt uitgevoerd. Ook zou je met een app kunnen controleren of medewerkers wel de juiste zit-, buk- en tilhoudingen aannemen tijdens het werk. En je zou een foto kunnen maken met een specifieke handbeweging in de lucht, bijvoorbeeld een vingerknip.

Detectie van hand- en lichaamshouding

De detectie van handbewegingen geeft ook allerlei nieuwe mogelijkheden om apps te bedienen. Zo liet Apple-medewerker Brett Keating tijdens een WWDC-sessie zien hoe je in de lucht tekent met een iPhone-app. Je tekent daarbij met je hand zonder het scherm aan te raken. Apple legt uit dat meerdere handen en lichamen in beeld gedetecteerd kunnen worden, maar dat er problemen kunnen optreden als mensen handschoenen of grote gewaden dragen, waarbij gewrichten als polsen, knieën en ellebogen niet goed te herkennen zijn. Ook bepaalde houdingen zijn nog lastig te herkennen, zoals mensen die voorover buigen of een handstand maken. Als je te dicht bij de rand van het scherm staat of als je bijvoorbeeld achter een tafel staat, kan het ook lastig worden.

Met Apple’s ARKit is het al langer mogelijk om bepaalde houdingen vast te stellen, maar dat werkt alleen bij AR-toepassingen die de camera aan de achterkant gebruiken. Ook heeft Apple sinds iOS 7 al toegankelijkheidsfuncties waarbij je toestellen kunt bedienen met hoofdbewegingen, maar die zijn toegespitst op een heel specifieke gebruikersgroep. Het Vision-raamwerk werkt voor allerlei soorten apps en op veel meer toestellen, voor een breed publiek.

Ontwikkelaars kunnen nu al met de iOS 14 beta aan de slag. Ook de macOS Big Sur beta is inmiddels beschikbaar om deze nieuwe functie te testen. Wil je mee hierover weten, dan kijk je het beste even naar deze WWDC 2020-sessie.

Meer over iOS 14
Wil je meer weten over de vernieuwingen in iOS 14, bekijk dan de belangrijkste functies van iOS 14. Benieuwd naar de kleine ontdekkingen van iOS 14, dan hebben we ook daar een overzicht van. Wil je weten of jouw iPhone geschikt is voor iOS 14, dan vind je in ons artikel het antwoord. De meest recente iOS-versie is iOS 17.4.1.