Dit zijn Apple’s plannen met AI in iOS 18

Voor Apple is 2024 het jaar van kunstmatige intelligentie (AI). Er zullen diverse AI-functies worden aangekondigd tijdens WWDC, die we in iOS 18 en de andere besturingssystemen gaan terugzien. Dit blijkt ook uit research-materiaal dat Apple de afgelopen tijd heeft gepubliceerd: Apple investeert stevig in allerlei AI-technologieën. Naar verwachting zal de AI-strategie van Apple worden aangekondigd tijdens WWDC 2024, als onderdeel van iOS 18 maar ook in apps en diensten zoals Siri, de Muziek-app en meer. Dit zijn de ontwikkelingen tot nu toe!

Update 22 april 2024: ‘Alle AI-functies in iOS 18 werken lokaal’

Volgens Mark Gurman zullen alle AI-functies in iOS 18 volledig lokaal op het toestel werken. De Large Language Modellen (LLMs) die Apple aan het ontwikkelen is hebben geen verbinding met een server nodig. Dit is gunstiger voor de snelheid én voor je privacy. Andere analisten en experts hebben ook al laten doorschemeren dat de AI in iOS 18 on-device werkt. Dit model met de codenaam ‘Ajax’ profiteert waarschijnlijk van de kracht van Apple Silicon, dat in recente devices aanwezig is. Apple werkt overigens ook aan servergebaseerde versies van Ajax.

Voor- en nadelen van servergebaseerde AI

Het voordeel van LLM’s die op een server werken (zoals ChatGPT), is dat gebruik kunnen maken van veel meer computerkracht en over een rijkere database van kennis kunnen beschikken, waardoor ze ook allerlei trivia-feiten kunnen oplepelen. Ze kunnen bovendien worden afgestemd op heel specifieke taken. Van de andere kant hebben ze ook nadelen: ze zijn niet offline te gebruiken en ze reageren langzamer op eenvoudige opdrachten, omdat het verzoek eerst naar de cloud moet worden gestuurd.

Voor- en nadelen van lokale AI

Apple kiest vanwege de privacy dus vooral voor lokale AI-functies, zoals het er nu naar uitziet. Je kunt dan al je e-mail, chats en andere communicatie zonder zorgen door het on-device model laten verwerken, omdat de gegevens lokaal blijven. Ze kunnen ook redelijk goed documenten en afbeeldingen aanpassen op basis van aanwijzingen die je geeft, bijvoorbeeld het samenvatten van een tekst of het verwijderen van een persoon uit een foto. Bepaalde taken zou Apple kunnen uitbesteden aan een externe partij, zoals Google Gemini.

Bekijk ook

'Apple nog steeds in gesprek over Google Gemini AI-functies in iOS 18'

Apple zou in gesprek zijn om Google's Gemini in te bouwen in iOS 18 en iPadOS 18, voor meerdere generatieve AI-functies. Daarnaast zou Apple in gesprek zijn met OpenAI.

Update 16 februari 2024: AI-functies ook voor ontwikkelaars

Volgens een nieuw bericht van Bloomberg werkt Apple niet alleen aan AI-functies voor eindgebruikers, maar ook voor developers. Mark Gurman van Bloomberg zegt dat Apple dit jaar nog met Xcode-functies komt waarmee ontwikkelaars met behulp van AI code kunnen schrijven. Omdat het vergelijkbaar moet werken met Microsoft’s GitHub Copilot, is het aannemelijk dat Xcode met AI hele blokken code kan schrijven. Ook voor het testen van apps wordt AI ontwikkeld. Dat zou ontwikkelaars veel tijd kunnen besparen.

Verder schrijft Bloomberg dat Apple een nieuwe versie van Spotlight met AI overweegt. Hiermee zou Spotlight specifieke app-functies kunnen uitvoeren en complexe vragen kunnen beantwoorden. Het is echter niet gezegd of, en zo ja, wanneer het komt.

Update 24 januari 2024: Overname van AI-bedrijven

Apple heeft de afgelopen tijd stilletjes een reeks overnames gedaan en extra mensen aangenomen, om de AI-functies te versterken. Dit blijkt uit een reportage van de Financial Times. Volgens de krant concentreert Apple zich op AI-functies voor mobiele apparaten. Eén van de overgenomen start-ups is WaveOne, dat een AI-gestuurde techniek voor videocompressie maakte.

De helft van de AI-gerichte vacatures die Apple heeft uitstaan bevat de term ‘deep learning’, wat erop wijst dat er vooral gewerkt wordt aan algoritmen voor generatieve AI. We kennen dit vooral van toepassingen als ChatGPT. Apple zou sinds begin 2023 bezig zijn met een large language model (LLM) genaamd ‘Ajax’. Dit werkt lokaal op het mobiele apparaat en is niet afhankelijk van clouddiensten. De grootste uitdaging daarbij is dat een LLM veel opslagruimte vergt en krachtige processoren vereist. Apple moet dan ook snelle chips toepassen en het LLM zoveel mogelijk optimaliseren, om alle bewerkingen lokaal te laten plaatsvinden. Ook zou Apple van plan zijn om de microfoons van toekomstige iPhones te verbeteren, om te zorgen dat de door een LLM-aangestuurde Siri je beter verstaat.

Appel zou op schema liggen om de AI-gebaseerde tools en functies aan te kondigen tijdens WWDC in juni 2024, als onderdeel van iOS 18. Meer over de verbeterde Siri in iOS 18 lees je in een apart artikel.

Bekijk ook

Gerucht: 'Siri krijgt flinke upgrade in iOS 18, kan veel complexere taken uitvoeren'

Apple zou werken aan een flinke upgrade voor Siri, als onderdeel van iOS 18 in 2024. Siri kan dan veel complexere taken afhandelen, dankzij een nauwere samenwerking met de Opdrachten-app.

Update 4 januari 2024: AI-functies worden aangekondigd op WWDC

Geruchtenlekker yeux1122 deelt op de Koreaanse blog Naver enkele nieuwe informatie over Apple’s aankomende AI-functies voor Siri. Volgens ontwikkelaarsbronnen zou Apple de generatieve AI-functies voor Siri, vergelijkbaar met Chat-GPT, willen aankondigen tijdens de WWDC 2024. Het zou gaan om een taalmodel dat intern bij Apple getraind is. Dit gaat om hetzelfde taalmodel als waar Bloomberg-journalist Mark Gurman afgelopen juli al over sprak (zie onderstaand). Hoewel Apple dit taalmodel eerst alleen intern zou willen gebruiken, zou er nu toch sprake zijn van een consumentenversie. Hierdoor wordt Siri persoonlijker en kun je natuurlijkere gesprekken voeren, zo zegt de bron.

Concrete voorbeelden worden niet genoemd, maar de functie zou helpen bij het ‘efficiënter beheren van meerdere Apple-devices, koppelingen met externe diensten en het bieden van Apple-specifieke diensten’. Denk bijvoorbeeld aan een functie waarmee Siri bepaalde afbeeldingen kan genereren, op basis van wat jij als gebruiker omschrijft.

Vermoedelijk zien we deze nieuwe AI-functies verwerkt worden in iOS 18, de aankomende software-update van dit najaar. Het is echter nog maar de vraag welke talen er ondersteund gaan worden. Dergelijke Siri-verbeteringen komen meestal eerst alleen in het Engels beschikbaar. Pas (veel) later volgen andere talen.

Update 22 oktober 2023: iOS 18 krijgt AI-functies

‘iOS 18 krijgt AI-functies’

Apple zou in iOS 18 nieuwe AI-functies willen invoeren, zegt Mark Gurman van Bloomberg. Apple zou zijn overvallen door de plotselinge opkomst van generatieve AI-tools zoals ChatGPT. Intern wordt daarom hard gewerkt om een inhaalslag te maken. Topfiguren Craig Federighi (software), John Giannandrea (AI) en Eddy Cue (diensten) zouden daarom met man en macht werken om AI-functies in de producten en diensten van Apple in te bouwen. Het gaat onder andere om verschillende AI-functies voor iOS 18, zoals slimmere antwoordsuggesties in de Berichten-app. In Apple Music komen AI-gegenereerde afspeellijsten en in Pages en Keynote krijg je ook hulp van kunstmatige intelligentie. Daarnaast komt er een slimmere versie van Siri, die ook in 2024 klaar moet zijn.

Apple’s belangrijkste doelstelling is om AI in te bouwen in allerlei functies voor eindgebruikers. Daarnaast wil Apple dat de ontwikkelaars aanhaken door AI-functies in Xcode in te bouwen. Het is bijvoorbeeld mogelijk om met ChatGPT en Github Copilot code te schrijven en dat moet ook met Xcode mogelijk worden. De interne klantenservice zou ook hulp moeten krijgen van AI.

Volgens Gurman is er intern onenigheid of deze AI-functies lokaal op het apparaat moeten plaatsvinden, of moeten worden uitbesteed aan Apple’s clouddiensten. De eerste optie is beter voor je privacy, maar de tweede optie maakt krachtiger oplossingen mogelijk. Dit zou wel eens per functie besloten kunnen worden. Meer info is te lezen in de Power On-nieuwsbrief van Gurman.

Hieronder lees je ons eerdere artikel van 19 juli 2023.

Binnen Apple zou de afgelopen maanden extra hard zijn gewerkt aan AI-projecten, vooral op het gebied van grote taalmodellen. Sinds chatbot-diensten en AI-functies overal opduiken, wil Apple niet achterblijven. Zo is er ChatGPT van OpenAI, Microsoft Bing en Google Bard, die er sinds kort ook in het Nederlands is. Intern zou Apple gewerkt hebben aan een chatbot die binnenskamers ‘Apple GPT’ wordt genoemd. Apple zou echter geen duidelijke strategie hebben om er een consumentendienst van te maken, zegt Gurman.

Het gaat er Apple vooral om niet achterop te raken. Door gebruik van AI-technieken gaan mensen anders met smartphones om. De medewerkers die er intern aan werken moeten speciaal toegang vragen om de chatbot-app te mogen gebruiken. Apple zou het vooral gebruiken voor prototypes van producten. De bot kan vragen beantwoorden op basis van data die Apple heeft gevoed om te trainen. Apple zou eerder hebben overwogen om een contract met OpenAI te sluiten en probeerde de technologie ook intern uit, maar besloot toch een andere oplossing te kiezen.

Apple’s platform is gebouwd met het Jax machine learning framework van Google en draait in Google Cloud. De teams gebruiken het bijvoorbeeld om problemen rondom privacyzorgen op te lossen. In vergelijking met concurrenten is Apple veel voorzichtiger op het gebied van privacy, waardoor de assistent Siri lang niet zo slim is.

Facebook had in 2018 al chatbots, maar die konden nog geen speech schrijven of een reisplanning maken.

‘AI-aankondiging in 2024’

Apple zou van plan zijn om in 2024 een grote aankondiging op het gebied van AI te doen, maar concrete details zijn nog niet bekend. Apple heeft al een tijd geleden John Giannandrea aangesteld als hoofd AI. Het Apple Car-team rapporteert rechtstreeks aan hem, maar er speelt veel meer. Tim Cook zei in mei dat er nogal wat zaken rond AI opgelost moeten worden, voordat het mainstream zal worden. Hij zei ook dat Apple AI ziet als een belangrijke ontwikkeling en dat het gaandeweg in producten zal sluipen.

In iOS 17 is daar al iets van te merken: Apple heeft een nieuw taalmodel in gebruik genomen om tekstcorrectie te verbeteren. Ook kunnen voortaan individuele huisdieren herkend worden. Volgens Gurman zien we dan ook al enkele resultaten van het project in de zoekfuncties, Siri en Kaarten.

Meer informatie lees je in het artikel van Bloomberg.