Apple zou binnenkort een zogenaamde CSAM-scanning tool aankondigen. Dit hulpmiddel kan foto's met kindermisbruik herkennen, om zo illegale content op te sporen.
Taalfout gezien of andere suggestie hoe we dit artikel kunnen verbeteren? Laat het ons weten!
Artikelcorrectie, spelfout of -aanvulling doorgeven?
Reacties: 17 reacties
Zevo
En dan een ouder die een foto maakt van haar eigen baby in een luier die dit algoritme triggered? Beter werkt het perfect en dat er niet zomaar politie voor de deur staat om niks.
Pieter
Hoe gaan ze die AI trainen dan? 🥴
Edwin
Grootste vraag is wat Apple gaat doen als ze verdachte foto’s tegen gaan komen (want die gaan ze 100% zeker tegenkomen in de miljarden foto’s die ze hosten).
Krijg je als gebruiker een melding of waarschuwing en een kans/keuze om he te corrigeren voordat ze ingrijpen? Of gaat ze zo asociaal zoals Microsoft en Google bij een verdenking direct je account blokkeren.
Tegenhouden van dit soort technieken lijkt me bijna onmogelijk. Behalve dat Apple tot nu toe altijd aangaf dat ze niets met je data deden. Nu gaan ze dus gericht op zoek door jouw data op zoek naar misdragingen volgens de Amerikaanse wetgeving.
Dat is nogal een flinke koerswending.
Maar als ze dan ook nog eens zomaar je account blokkeren bij een gevonden foto die je gemaakt hebt na een bevalling of familiefoto’s van opgroeiende baby’s (zoals al bewezen gebeurd is bij Microsoft en Google) PLUS dan nog eens niet de mogelijkheid geven om te corrigeren en je account terug te krijgen lijkt me een ZEER slechte stap voor Apple
Eric
Wat Edwin hierboven al aangeeft, an sich vind ik het prima. Maar op Tweakers is een heel forumpagina gewijd aan misstanden van o.a Microsoft die abrupt accounts sluit als het algoritme een overtreding signaleert. Je moet dat soort beslissingen op een toegankelijke manier kunnen aanvechten. Je zal maar als ouder zijnde een melding krijgen dat je account gesloten is, met alles wat op iCloud kan staan tegenwoordig, omdat Apple (GAFAM in het algemeen) een normale foto van je kind in het zwembadje in de tuin aanziet voor kinderporno. Dat recht van verzet zou wettelijk moeten zijn: overtreding -> melden gaan gebruiker -> verzet -> menselijke beoordeling -> gevolgen treden in of niet.
Nog mooier zou zijn als een geschillencommissie hiervoor ook gebruikt kan worden: geschil met GAFAM? Dan entree bij de commissie; onafhankelijke menselijke deskundigheid die de zaak menselijke beoordelen.
Jules
Apple moet zonder gerechtelijk bevel van mijn foto’s afblijven. Hoe nobel ook. Iedereen heeft recht op privacy. Zeker bedrijven als Apple moeten zich daar aan houden. Het kan jiet zo zijn dat apple hier in zijn eentje een heksenjacht ontketend, want wordt dan de volgende groep die ze gaan aanpakken?
Komt bij dat zeker foto’s nog wel eens verkeerd uitgelegd kunnen worden. Nee Apple heeft hier niks te zoeken zonder tussenkomst van een gerechtelijk bevel.
JeroenT
Goh wat is je privacy veilig bij Apple. Alles weer onder het mom van kinderporno, maar ondertussen worden al je foto’s gescand door AI tools. Zelfde laken een pak, net als Google en FB.
Ro
Hahaha gelijk weer mensen die gaan zeggen “goh wat is je privacy veilig bij Apple” of andere opmerkingen over dat Apple te ver gaat. Het is er nog niet he mensen. Als Apple dat belangrijk vind moet je Apple lekker in z’n waarde laten. Ben je het er niet mee eens, dan stap je over of zorg je dat je niet gebruikt van een dergelijke dienst.
Begrijp mij niet verkeerd, ik denk zelf dat dit ook wel erg ver gaat en van mij hoeft het ook niet. Maar sommige opmerkingen gaan nergens over, alsof het er al is. Of alsof je er gebruik van MOET maken. Een bedrijf dat software maakt mag in mijn ogen zelf weten welke functies ze maken. Sure ze luisteren veel naar gebruikers, maar soms gebeuren ook zaken die een bedrijf zelf belangrijk vindt. Dit is er een van.
Ik denk overigens niet dat, zoals iemand anders aangeeft, de politie hele dagen voor je deur staat omdat je een foto van je kind maakt en op iCloud opslaat. 😂😂
F1WilliamsJeff
Is aan de ene kant heel erg nobel van ze maar dan kunnen ze ook op andere dingen gaan scannen. Heb niks te verbergen maar er is echt zoiets als privacy en een systeem gaat echt fouten maken en wat dan? Als we maar even kijken naar het toeslagenaffaire systeem en de FSV meldingen die een systeem toekende. Wat een ellende je daarvan kan krijgen als het onschuldige burgers betreft.
Aan de andere kant is het erg fijn als dit soort wanpraktijken in de kiem gesmoord worden maar als dit nu de juiste oplossing weet ik niet echt.
Heb toch liever dat Apple overal uit blijft. Wat voor foto’s er ook op een server terecht komen. Blijft een lastige kwestie dit.
Hans
Je foto’s worden niet gescand op inhoud (familie foto’s zijn dus veilig), de hashes worden wel vergeleken met een centrale database met bewezen illegale content. Ook dat gaat soms fout overigens.
Goed dat ze dit doen voor deze use case, maar in een foutere regimes kan exact dezelfde tool ook misbruikt worden om te kijken of je wel mee in de pas loopt.
Ranney
Stit, ik maak enkel foto’s van familie en vrienden of vakanties. Had net 3 maanden geleden besloten om alles te migreren naar de cloud. Daar kan het dus weer uit. Als er wat gezien wordt kan ik het niet uitleggen, ben ik mijn foto’s en al mijn aankopen kwijt. Top dit weer…
edwin
Origineel geplaatst door Hans
Je foto’s worden niet gescand op inhoud (familie foto’s zijn dus veilig), de hashes worden wel vergeleken met een centrale database met bewezen illegale content. Ook dat gaat soms fout overigens.
Goed dat ze dit doen voor deze use case, maar in een foutere regimes kan exact dezelfde tool ook misbruikt worden om te kijken of je wel mee in de pas loopt.
Ik denk dat je er niet zomaar van uit moet gaan dat je familiefoto’s veilig zijn. als je kijkt (inderdaad tweakers heeft daar pas een uitgebreid artikel over) wat er kan gebeuren bij de concurrenten (google & microsoft). daar zijn al meerdere gevallen bekend (en ongetwijfeld nog velen niet bekend) waarbij de account zonder enige waarschuwing vooraf geblokkeerd is.
En de waarschijnlijke reden is simpele familiefoto’s.
Echter is bij deze twee bedrijven het vrijwel onmogelijk om verdere uitleg te krijgen. Niets meer dat “u heeft de regels overtreden”. Compleet zonder verdere onderbouwing.
Plus dat het onmogelijk is het bedrijf te benaderen hierover voor uitleg, het geven van uitleg of laat staan het heropenen van je account.
Ook betaalde account (met vele honderden euros aan xbox aankopen bijvoorbeeld) ben je gewoon kwijt zonder dat je er iets tegen kan doen.
balken07
Nogal privacy schending als je het mij vraagt. Hier is de politie voor en niet Apple.
(Red.) Apple heeft de tools nu officieel aangekondigd, zie update in het artikel.
Chris
Als we toch bezig zijn, dan ook foto’s waar mogelijk een joint wordt gerookt. En laat maps ook doorgeven wanneer je te hard rijdt. Mogen zoenende mannen wel in de database? Wie bepaald de norm? Hier moet je echt niet aan beginnen.
Daniel
Het verbaast me zeer hoe fel iedereen tegen zo’n tool is. Ik hoor weinigen zeggen dat het goed is om kinderporno eens grondig aan te pakken, erg jammer dat we vooral met eigenbelang bezig zijn. Het lijkt me juist dat de industrie moet bijdragen aan de bestrijding ervan door dit soort slimme tools te ontwikkelen. En als Apple dat kan doen op een betere manier dan andere bedrijven dat kunnen, dan zeg ik heel graag! Natuurlijk moet het niet de bedoeling zijn dat je iCloud op slot gaat als je foto’s van je eigen kinderen in een zwembad o.i.d. op je telefoon hebt staan.
(Red.) Link naar de nieuwe FAQ toegevoegd waarin we de belangrijkste vragen beantwoorden en de kritiek op Apple’s maatregelen verder uitlichten.
Alfred
@Daniel: Sorry maar dat is het punt niet. De politie kan niet je huis binnen komen om alles te monitoren wat jij doet, zonder een huiszoekingsbevel en dat wordt alleen gegeven als er een redelijke grond van verdenking is. Dat Apple opeens als controlerend politie agent gaat optreden, hoe goed bedoeld ook. Is zo fout als fout kan zijn. Privacy is privacy en als als we beginnen met het scannen op “foute” foto’s is het een kleine stap op het scannen van “foute” berichten etc etc. Het is een hellend vlak waar we ver van weg moeten blijven. Apple is geen deel van de wetgevende macht en moet dus NOOIT diens taken overnemen. Alleen als een rechter met een gerechtelijk bevel komt moet Apple meewerken, en in alle andere gevallen moet apple gewoon goede producten maken met perfecte digitale beveiligingen. En iedereen die zegt dat we niet zo hard van stapel moeten lopen, moet zich iets beter inlezen in de materie, want Apple is verder dan alleen maar vage plannen.
En dan een ouder die een foto maakt van haar eigen baby in een luier die dit algoritme triggered? Beter werkt het perfect en dat er niet zomaar politie voor de deur staat om niks.
Hoe gaan ze die AI trainen dan? 🥴
Grootste vraag is wat Apple gaat doen als ze verdachte foto’s tegen gaan komen (want die gaan ze 100% zeker tegenkomen in de miljarden foto’s die ze hosten).
Krijg je als gebruiker een melding of waarschuwing en een kans/keuze om he te corrigeren voordat ze ingrijpen? Of gaat ze zo asociaal zoals Microsoft en Google bij een verdenking direct je account blokkeren.
Tegenhouden van dit soort technieken lijkt me bijna onmogelijk. Behalve dat Apple tot nu toe altijd aangaf dat ze niets met je data deden. Nu gaan ze dus gericht op zoek door jouw data op zoek naar misdragingen volgens de Amerikaanse wetgeving.
Dat is nogal een flinke koerswending.
Maar als ze dan ook nog eens zomaar je account blokkeren bij een gevonden foto die je gemaakt hebt na een bevalling of familiefoto’s van opgroeiende baby’s (zoals al bewezen gebeurd is bij Microsoft en Google) PLUS dan nog eens niet de mogelijkheid geven om te corrigeren en je account terug te krijgen lijkt me een ZEER slechte stap voor Apple
Wat Edwin hierboven al aangeeft, an sich vind ik het prima. Maar op Tweakers is een heel forumpagina gewijd aan misstanden van o.a Microsoft die abrupt accounts sluit als het algoritme een overtreding signaleert. Je moet dat soort beslissingen op een toegankelijke manier kunnen aanvechten. Je zal maar als ouder zijnde een melding krijgen dat je account gesloten is, met alles wat op iCloud kan staan tegenwoordig, omdat Apple (GAFAM in het algemeen) een normale foto van je kind in het zwembadje in de tuin aanziet voor kinderporno. Dat recht van verzet zou wettelijk moeten zijn: overtreding -> melden gaan gebruiker -> verzet -> menselijke beoordeling -> gevolgen treden in of niet.
Nog mooier zou zijn als een geschillencommissie hiervoor ook gebruikt kan worden: geschil met GAFAM? Dan entree bij de commissie; onafhankelijke menselijke deskundigheid die de zaak menselijke beoordelen.
Apple moet zonder gerechtelijk bevel van mijn foto’s afblijven. Hoe nobel ook. Iedereen heeft recht op privacy. Zeker bedrijven als Apple moeten zich daar aan houden. Het kan jiet zo zijn dat apple hier in zijn eentje een heksenjacht ontketend, want wordt dan de volgende groep die ze gaan aanpakken?
Komt bij dat zeker foto’s nog wel eens verkeerd uitgelegd kunnen worden. Nee Apple heeft hier niks te zoeken zonder tussenkomst van een gerechtelijk bevel.
Goh wat is je privacy veilig bij Apple. Alles weer onder het mom van kinderporno, maar ondertussen worden al je foto’s gescand door AI tools. Zelfde laken een pak, net als Google en FB.
Hahaha gelijk weer mensen die gaan zeggen “goh wat is je privacy veilig bij Apple” of andere opmerkingen over dat Apple te ver gaat. Het is er nog niet he mensen. Als Apple dat belangrijk vind moet je Apple lekker in z’n waarde laten. Ben je het er niet mee eens, dan stap je over of zorg je dat je niet gebruikt van een dergelijke dienst.
Begrijp mij niet verkeerd, ik denk zelf dat dit ook wel erg ver gaat en van mij hoeft het ook niet. Maar sommige opmerkingen gaan nergens over, alsof het er al is. Of alsof je er gebruik van MOET maken. Een bedrijf dat software maakt mag in mijn ogen zelf weten welke functies ze maken. Sure ze luisteren veel naar gebruikers, maar soms gebeuren ook zaken die een bedrijf zelf belangrijk vindt. Dit is er een van.
Ik denk overigens niet dat, zoals iemand anders aangeeft, de politie hele dagen voor je deur staat omdat je een foto van je kind maakt en op iCloud opslaat. 😂😂
Is aan de ene kant heel erg nobel van ze maar dan kunnen ze ook op andere dingen gaan scannen. Heb niks te verbergen maar er is echt zoiets als privacy en een systeem gaat echt fouten maken en wat dan? Als we maar even kijken naar het toeslagenaffaire systeem en de FSV meldingen die een systeem toekende. Wat een ellende je daarvan kan krijgen als het onschuldige burgers betreft.
Aan de andere kant is het erg fijn als dit soort wanpraktijken in de kiem gesmoord worden maar als dit nu de juiste oplossing weet ik niet echt.
Heb toch liever dat Apple overal uit blijft. Wat voor foto’s er ook op een server terecht komen. Blijft een lastige kwestie dit.
Je foto’s worden niet gescand op inhoud (familie foto’s zijn dus veilig), de hashes worden wel vergeleken met een centrale database met bewezen illegale content. Ook dat gaat soms fout overigens.
Goed dat ze dit doen voor deze use case, maar in een foutere regimes kan exact dezelfde tool ook misbruikt worden om te kijken of je wel mee in de pas loopt.
Stit, ik maak enkel foto’s van familie en vrienden of vakanties. Had net 3 maanden geleden besloten om alles te migreren naar de cloud. Daar kan het dus weer uit. Als er wat gezien wordt kan ik het niet uitleggen, ben ik mijn foto’s en al mijn aankopen kwijt. Top dit weer…
Ik denk dat je er niet zomaar van uit moet gaan dat je familiefoto’s veilig zijn. als je kijkt (inderdaad tweakers heeft daar pas een uitgebreid artikel over) wat er kan gebeuren bij de concurrenten (google & microsoft). daar zijn al meerdere gevallen bekend (en ongetwijfeld nog velen niet bekend) waarbij de account zonder enige waarschuwing vooraf geblokkeerd is.
En de waarschijnlijke reden is simpele familiefoto’s.
Echter is bij deze twee bedrijven het vrijwel onmogelijk om verdere uitleg te krijgen. Niets meer dat “u heeft de regels overtreden”. Compleet zonder verdere onderbouwing.
Plus dat het onmogelijk is het bedrijf te benaderen hierover voor uitleg, het geven van uitleg of laat staan het heropenen van je account.
Ook betaalde account (met vele honderden euros aan xbox aankopen bijvoorbeeld) ben je gewoon kwijt zonder dat je er iets tegen kan doen.
Nogal privacy schending als je het mij vraagt. Hier is de politie voor en niet Apple.
(Red.) Apple heeft de tools nu officieel aangekondigd, zie update in het artikel.
Als we toch bezig zijn, dan ook foto’s waar mogelijk een joint wordt gerookt. En laat maps ook doorgeven wanneer je te hard rijdt. Mogen zoenende mannen wel in de database? Wie bepaald de norm? Hier moet je echt niet aan beginnen.
Het verbaast me zeer hoe fel iedereen tegen zo’n tool is. Ik hoor weinigen zeggen dat het goed is om kinderporno eens grondig aan te pakken, erg jammer dat we vooral met eigenbelang bezig zijn. Het lijkt me juist dat de industrie moet bijdragen aan de bestrijding ervan door dit soort slimme tools te ontwikkelen. En als Apple dat kan doen op een betere manier dan andere bedrijven dat kunnen, dan zeg ik heel graag! Natuurlijk moet het niet de bedoeling zijn dat je iCloud op slot gaat als je foto’s van je eigen kinderen in een zwembad o.i.d. op je telefoon hebt staan.
(Red.) Link naar de nieuwe FAQ toegevoegd waarin we de belangrijkste vragen beantwoorden en de kritiek op Apple’s maatregelen verder uitlichten.
@Daniel: Sorry maar dat is het punt niet. De politie kan niet je huis binnen komen om alles te monitoren wat jij doet, zonder een huiszoekingsbevel en dat wordt alleen gegeven als er een redelijke grond van verdenking is. Dat Apple opeens als controlerend politie agent gaat optreden, hoe goed bedoeld ook. Is zo fout als fout kan zijn. Privacy is privacy en als als we beginnen met het scannen op “foute” foto’s is het een kleine stap op het scannen van “foute” berichten etc etc. Het is een hellend vlak waar we ver van weg moeten blijven. Apple is geen deel van de wetgevende macht en moet dus NOOIT diens taken overnemen. Alleen als een rechter met een gerechtelijk bevel komt moet Apple meewerken, en in alle andere gevallen moet apple gewoon goede producten maken met perfecte digitale beveiligingen. En iedereen die zegt dat we niet zo hard van stapel moeten lopen, moet zich iets beter inlezen in de materie, want Apple is verder dan alleen maar vage plannen.