Nederlandse rechter gebruikt AVG voor verbod ‘nudification’ AI-tools, EU-wetgever volgt met voorstel voor EU-breed verbod onder AI-verordening

De door Stichting Offlimits ingestelde kortgedingprocedure tegen X en diens AI-chatbot Grok heeft recentelijk veel losgemaakt. Niet in de minste plaats vanwege de verstrekkende gevolgen van de uitkomst daarvan. De belangenorganisatie die online grensoverschrijdend gedrag bestrijdt, en seksueel kindermisbruik in het bijzonder, nam het op 12 maart 2026 in de rechtbank Amsterdam op tegen deze Tech-gigant vanwege de ‘nudification’-content die via Grok, onder meer van minderjarigen, binnen een handomdraai kon worden gemaakt. En met succes: de functionaliteiten van Musk’s AI-chatbot voor het creëren van deze contentcategorie voor Nederlandse gebruikers zijn verboden. 

Essentie van de zaak

Offlimits heeft, in samenwerking met Stichting Fonds Slachtofferhulp, in 2025 onderzoek gedaan naar zogenaamde nudify-websites[1].  Dit zijn websites waar (bestaande) personen aan de hand van hun beeldmateriaal geheel of gedeeltelijk kunnen worden ‘uitgekleed’. Op de onderzochte websites was dit mogelijk zonder dat werd nagegaan of de betrokken, in het echt bestaande personen om wiens gegevens het ging daar uitdrukkelijk toestemming voor hadden gegeven. Het genereren van dergelijk beeldmateriaal is volgens Offlimits in strijd met hetgeen is toegestaan volgens Nederlands en Europees recht, waaronder de Algemene verordening gegevensbescherming (“AVG”) [2]. Grok is een generatieve AI-chatbot ontwikkeld door X.AI. Grok is gratis beschikbaar voor consumenten via een app, webpagina, en het sociale-media platform X waarin Grok is ingebouwd. De chatbot is in staat om verschillende opdrachten uit te voeren, waaronder het genereren van beeldmateriaal. Offlimits heeft vastgesteld dat Grok gebruikers ook in staat stelt om ‘nudification-beeldmateriaal’ te genereren en vervolgens verder te gebruiken. Het gaat hierbij zowel om foto’s als video’s met bewegend beeld. De essentie van de zaak is het feit dat via Grok een (bestaand) persoon geheel of gedeeltelijk kan worden uitgekleed,  zonder dat bij  de betreffende persoon hiervoor de uitdrukkelijke toestemming wordt verkregen. De leeftijdsgrens voor personen bij wie deze functionaliteit kan worden gebruikt, is in Grok ingesteld op 10 jaar, waardoor gebruikers met behulp van Grok bovendien beeldmateriaal kunnen genereren dat kwalificeert als kinderpornografisch. Grok bevat daarnaast de zogeheten ‘Spicy modus’, die specifiek is bedoeld om gegenereerde content te seksualiseren. Verder is uit onderzoek van Offlimits gebleken dat deze beelden eenvoudig te uploaden zijn via X, en dat verspreiding daarvan dus kinderlijk eenvoudig is. 

Offlimits kiest voor een kortgeding via massaschadeclaimroute

Een procedureel opvallend aspect van deze zaak is dat Offlimits ervoor heeft gekozen om haar vorderingen via de collectieve actieregeling van artikel 3:305a BW en het daarop gebaseerde WAMCA-regime in te stellen. Uit de dagvaarding volgt dat Offlimits nadrukkelijk heeft ingezet op een collectieve ideële actie, die gericht is op het onmiddellijk beëindigen van een voortdurende onrechtmatige situatie. Daarbij benadrukte Offlimits dat de vorderingen vooral waren gericht op het voorkomen van toekomstige slachtoffers en dat een bodemprocedure daarvoor onvoldoende effectief zou zijn. Volgens Offlimits zou een reguliere WAMCA-bodemprocedure, mede gelet op de ervaringen in eerdere collectieve procedures, een doorlooptijd van meerdere jaren kennen, terwijl uit onderzoek [3] door Center for Countering Digital Hate volgde dat de vermeende inbreuken zich dagelijks in hoge aantallen bleven voordoen. Juist daarom achtte zij een spoedeisende voorziening noodzakelijk. De keuze voor de collectieve route was bovendien functioneel noodzakelijk volgens Offlimits, omdat de vorderingen met name gericht zijn op toekomstige slachtoffers. Zonder collectieve actie zouden volgens Offlimits “de slachtoffers met lege handen staan” en zou ook geen effectief verbod kunnen worden verkregen tegen de functionaliteit zelf. Offlimits heeft in de kortgedingprocedure uitsluitend gevorderd om de onrechtmatige en strafbare nudify-functionaliteit van Grok per direct te verbieden, in ieder geval voor zover het bestaande personen betreft die in Nederland woonachtig zijn. Meer specifiek zagen de vorderingen op een verbod op het genereren en/of verspreiden van seksueel beeldmateriaal waarbij gebruik wordt gemaakt van de functionaliteit om personen deels of geheel uit te kleden zonder dat zij daar uitdrukkelijke toestemming voor hebben gegeven. Het ging enkel om een ordemaatregel om toekomstige inbreuken te voorkomen door het inbreukmakend handelen van Grok en X onmiddellijk te stoppen. Schadevergoeding of wereldwijde verwijdering van onrechtmatig beeldmateriaal waren niet het doel van de procedure. Juist omdat geen schadevergoeding in geld werd gevorderd, kon Offlimits zich beroepen op het zogenoemde “lichte regime” van artikel 3:305a lid 6 BW. De voorzieningenrechter heeft die redenering grotendeels gevolgd. In het vonnis overweegt de rechtbank dat sprake is van een algemeen-belangactie met een ideëel doel, namelijk het voorkomen en bestrijden van online seksueel grensoverschrijdend gedrag en online seksueel kindermisbruik, geheel in lijn met de statutaire doelstelling van Offlimits. Omdat de vorderingen geen schadevergoeding omvatten en uitsluitend strekken tot bescherming van algemene en toekomstige belangen, achtte de voorzieningenrechter toepassing van het lichte regime van artikel 3:305a lid 6 BW gerechtvaardigd. Offlimits baseerde haar vorderingen niet enkel op de AVG, maar ook op het grondrecht op privacy en bescherming van de persoonlijke levenssfeer, onrechtmatige daad,  de Auteurswet en de Digitaledienstenverordening (DSA). 

Biedt de AI-verordening uitkomst?

Sinds februari 2025 is de AI-verordening [4]  deels van toepassing geworden (in Nederland), waarin verschillende AI-systemen, gelet op hun beoogde doel, worden verboden. Opvallend is dat de EU-wetgever hierbij geen direct aanknopingspunt heeft geboden voor een verbod op een AI-systeem als Grok. Artikel 5 (verboden AI-praktijken) bevat weliswaar een limitatieve lijst van AI‑praktijken die per definitie verboden zijn in de Europese Unie, zoals in het geval van manipulatie, misbruik van kwetsbaarheden, social scoring, criminele voorspellingen, biometrische categorisering en ongerichte gezichtsscraping. Echter, Grok’s nudification-functionaliteit valt hier niet direct onder te scharen. Het via een AI-systeem digitaal “uitkleden” van personen zonder hun toestemming en het genereren van kinderpornografisch beeldmateriaal is zonder twijfel onwenselijk, maar de AI-verordening biedt geen juridische basis om hiertegen op te treden. De nudify-functionaliteiten van Grok vallen namelijk ook niet onder de wettelijk vastgestelde ‘hoog‑risico’ AI-systemen uit de AI-verordening. De AI-verordening bevat bovendien geen algemeen moreel of mensenrechtelijk verbod op schadelijke toepassingen van generatieve AI. De rechtsgrond voor de vorderingen van Offlimits dienden dus in andere wetgeving te worden gevonden. In dat verband is van belang dat op Europees niveau inmiddels, mede naar aanleiding van de Grok-actualiteit, wél beweging zichtbaar is. Op 6 mei 2026 is in het kader van de ‘Digital Omnibus on AI’ een politiek akkoord bereikt tussen het Europees Parlement en de Raad, waarin wordt voorzien in een uitbreiding van artikel 5 van de AI verordening [5].  Deze uitbreiding introduceert een uitdrukkelijk verbod op AI systemen die in staat zijn om zonder toestemming realistisch seksueel expliciet beeldmateriaal van identificeerbare personen te genereren of te manipuleren. Uit de toelichting bij dit voorstel volgt dat dergelijke toepassingen worden aangemerkt als een ernstige aantasting van fundamentele rechten, waaronder menselijke waardigheid, lichamelijke integriteit en het recht op privéleven. Daarbij wordt met name benadrukt dat het genereren van niet-consensueel intiem beeldmateriaal moet worden gezien als een vorm van seksueel misbruik die op grote schaal kan plaatsvinden en aanzienlijke psychologische schade kan veroorzaken [6]. Deze ontwikkeling bevestigt dat de huidige AI verordening geen expliciet aanknopingspunt bood voor een verbod op dit type functionaliteit. Tegelijkertijd laat het zien dat de Europese wetgever inmiddels de problematiek hierachter onderkent.

Verboden AI op grond van de AVG

Zoals gezegd, baseerde Offlimits haar vorderingen mede op een schending van de AVG. De voorzieningenrechter oordeelde dat het genereren van niet-consensuele uitkleedbeelden in strijd is met de AVG. Daarnaast oordeelde de voorzieningenrechter dat het genereren van kinderpornografisch materiaal in strijd is met hetgeen volgens ongeschreven recht in het maatschappelijk verkeer betaamt in de zin van artikel 6:162 lid 2 BW [7].  De voorzieningenrechter benadrukt dat X.AI, als ‘internet tussenpersoon’ de feitelijke controle heeft over de functionaliteiten van Grok als beeldgenerator, en daarmee de aangewezen partij is om het genereren en verspreiden van onrechtmatige content te voorkomen [8]. De voorzieningenrechter overweegt verder dat het evident is dat bij het genereren van uitkleedbeelden van echte personen, persoonsgegevens worden verwerkt van identificeerbare personen. Het gaat hierbij om gezichten en lichaamskenmerken, waarbij verdere context gebruikt en gemanipuleerd wordt. Doorslaggevend daarbij is dat de betrokken persoon herkenbaar is, en dat de verwerking plaatsvindt zonder enige vorm van toestemming. Dit is in strijd met artikel 6 AVG, waaruit volgt dat voor elke verwerking een rechtsgrond is vereist. In de context van Grok hebben betrokkenen een dergelijke toestemming niet gegeven. Daarnaast is geen sprake van een gerechtvaardigd belang van Grok dat opwoog tegen de privacyinbreuk van de betrokken personen, of een andere grondslag die de verwerking zou rechtvaardigen. Het resultaat is een onrechtmatige verwerking van persoonsgegevens via Grok. Van belang hierbij is dat zowel X als X.AI onder de AVG kunnen worden aangemerkt als verwerkingsverantwoordelijken voor het beeldmateriaal gegenereerd via Grok, waaronder dus van de personen die slachtoffer zijn geworden van de uitkleedfunctionaliteit. Onder verwijzing naar het Russmedia-arrest [9] onderbouwde Offlimits het bestaan van deze verwerkingsverantwoordelijkheid. Ondanks dat een gemotiveerde toelichting van de voorzieningenrechter op dit punt ontbreekt, wordt deze rolverdeling onder de AVG in het vonnis bevestigd [10].  Uit het Russmedia-arrest volgt dat een online marktplaats zich niet kan onttrekken aan aansprakelijkheid en verantwoordelijkheid onder de AVG op grond dat zij niet zelf de inhoud van de content op haar platform bepaalt [11].  Het Hof stelde in deze zaak – kort gezegd – vast dat een online marktplaats waarop gevoelige persoonsgegevens worden verwerkt, zélf, als verwerkingsverantwoordelijke, moet nagaan of de betrokkene daar uitdrukkelijke toestemming voor heeft gegeven. Niet ondenkbaar is dat de voorzieningenrechter deze uitkomst, naar analogie, heeft toegepast op X.AI (en X) als ‘internet tussenpersoon’. Ook relevant is dat artikel 5 van de AVG van de verwerkingsverantwoordelijke(n) verlangt dat er passende technische en organisatorische maatregelen worden genomen ter bescherming van de (via Grok) verwerkte persoonsgegevens, waaronder tegen ongeoorloofde of onrechtmatige verwerking. Het stelselmatig aanbieden van een functionaliteit waarvan bekend is dat deze leidt tot grootschalige privacyschendingen staat daar naar oordeel van de voorzieningenrechter haaks op. De voorzieningenrechter oordeelde dat X en X.AI onvoldoende concreet wisten te maken dat de wél door hen genomen maatregelen daadwerkelijk en voldoende effectief zijn.

AI-verordening niet de enige grond voor verboden AI-systemen

De procedure tegen de aanbieders van Grok laat zien dat de AI‑verordening gelet op de daarin genoemde ‘verboden AI-systemen’, ondanks de voorgenomen uitbreiding daarvan voor nudification-functionaliteiten, niet het eindpunt hoeft te zijn bij AI-gerelateerde misstanden. Een AI‑systeem, dan wel één of meerdere van diens functionaliteiten, kunnen door een beroep op andere rechtsgronden worden begrensd of verboden, bijvoorbeeld op grond van de AVG wegens onrechtmatige verwerking van persoonsgegevens, zoals blijkt uit deze zaak.

[1] https://offlimits.nl/assets/offlimits_nl/rapport-nudify-websites.pdf.

[2] Verordening (EU) 2016/679.

[3] https://counterhate.com/research/grok-floods-x-with-sexualized-images/.

[4] Verordening (EU) 2024/1689. 

[5] Proposal for a Regulation of the European Parliament and of the Council amending Regulations (EU) 2024/1689 and (EU) 2018/1139 as regards the simplification of the implementation of harmonised rules on artificial intelligence (Digital Omnibus on AI). https://www.consilium.europa.eu/en/press/press-releases/2026/05/07/artificial-intelligence-council-and-parliament-agree-to-simplify-and-streamline-rules/.  

[6] Proposal for a Regulation of the European Parliament and of the Council amending Regulations (EU) 2024/1689 and (EU) 2018/1139 as regards the simplification of the implementation of harmonised rules on artificial intelligence (Digital Omnibus on AI), overweging 6a. 

[7] Rb. Amsterdam 26 maart 2026, ECLI:NL:RBAMS:2026:3106, r.o. 4.20. https://uitspraken.rechtspraak.nl/details?id=ECLI:NL:RBAMS:2026:3106.

[8] Rb. Amsterdam 26 maart 2026, ECLI:NL:RBAMS:2026:3106, r.o. 4.21.

[9] Hof van Justitie EU (Grand Chamber) 2 december 2025, C-492/23, ECLI:EU:C:2025:935, (X v. Russmedia).

[10] Rb. Amsterdam 26 maart 2026, ECLI:NL:RBAMS:2026:3106, r.o. 4.5.

[11] Hof van Justitie EU (Grand Chamber) 2 december 2025, C-492/23, ECLI:EU:C:2025:935, (X v. Russmedia) https://infocuria.curia.europa.eu/tabs/document/C/2023/C-0492-23-00000000RP-01-P-01/ARRET/307102-NL-1-html