Apple onderzoekt hoe Siri slimmer kan luisteren in kamers

Toekomstige HomePods kunnen hun omgeving beter leren kennen door te luisteren en gebruikers gewoon te vragen wat er aan de hand is. Een systeem kan bijvoorbeeld vragen: “Was dat een deurbel?” om in het vervolg het geluid beter te herkennen. Het slimme apparaat kan er dan een label aan hangen en de volgende keer een pushbericht sturen, om te waarschuwen dat er iemand aanbelt. Dit werkt zowel fysiek als digitaal, zodat het ook geschikt is voor mensen die slechthorend zijn.

Onderzoekers van Apple en Carnegie Mellon University’s Human-Computer Interaction Institute hebben eraan meegewerkt. De paper beschrijft hoe hiermee apparaten zoals de HomePod en apparaten die met Siri werken verbeterd kunnen worden. Apple-apparaten luisteren naar het zinnetje Hé Siri en negeren al het andere, maar er is meer mogelijk.

Listen Learner

De techniek heet ‘Listen Learner’ en is bedoeld om activiteiten te herkennen, waardoor een slim apparaat gebeurtenissen kan aanleren, zonder dat er veel van de gebruiker gevraagd wordt. De HomePod kan zich al een beetje aanpassen aan de omgeving, door bijvoorbeeld de audio-uitvoer aan te passen. In patenten is te zien hoe een toekomstige HomePod rekening kan houden met de locatie van een gebruiker in de kamer. De audio wordt dan specifiek op de persoon gericht, door de audio te bundelen in een bepaalde richting.

Het gaat niet alleen om HomePods, maar om elk apparaat met microfoon. In de toekomst moet dat nog slimmer worden. Zo zou een slim systeem kunnen herkennen uit welke richting de piepjes van een magnetron komen en is er meer begrip voor de context. Daarmee zou Siri beter in staat zijn om bepaalde verzoeken uit te voeren, omdat meer bekend is over de context.

Een video laat zien hoe dit werkt, zonder dat je als gebruiker veel tijd kwijt bent aan training. Je kunt de paper ‘Automatic Class Discovery and One-Shot Interactions for Acoustic Activity Recognition’ hier vinden.