· 6 min lezen
Nederlandse nieuwssites blokkeren ChatGPT. Googles AI-antwoorden niet
We lazen de robots.txt van 40 Nederlandse websites. Tien blokkeren Googles AI-trainingstoken, geen enkele blokkeert Googlebot of beperkt snippets, de enige knoppen voor AI Overviews.
Geschreven met hulp van AI, nagelezen en aangevuld door Kevin Bos.
De robots.txt van NU.nl spreekt 66 user agents aan. Die van NRC 194. Toch staat de crawler die Googles AI-antwoorden voedt bij geen van de 31 Nederlandse sites die we konden lezen op de bloklijst:
Google-Extended: fully blocked on 10 of 31, named in 13
Googlebot: fully blocked on 0 of 31, named in 0
[…]
home pages that limit the snippet: 0 of 29
Googlebot en de snippet-instellingen zijn de enige knoppen die Google biedt voor zijn AI Overviews. De sites met de langste bloklijsten laten ze allebei ongemoeid, en daar hebben ze een goede reden voor. Over die klem gaat dit artikel.
0 van 31Nederlandse sites in onze meting die de crawler achter Googles AI-antwoorden blokkerenOnze meting in de sandbox, 18 november 2026
Waarom dit nu speelt
Op 18 november stonden twee stukken over hetzelfde verlies op Hacker News. De analyse van RevScope (382 punten) zet de onderzoeken op een rij. In een experiment met willekeurige toewijzing van Saharsh Agarwal en Ananya Sen klikten mensen die AI Overviews zagen 0,37 keer per zoekopdracht door naar een andere website. Bij mensen voor wie de Overviews verborgen waren was dat 0,62 keer: een daling van 39,8%. Wij lazen de weergave van RevScope en niet het werkdocument zelf. Het stuk van Pew Research Center lazen we wel. Pew volgde in maart 2025 het surfgedrag van 900 Amerikaanse volwassenen: een klik op een gewoon resultaat bij 8% van de bezoeken aan een pagina met AI-samenvatting, 15% zonder, en een klik op een link in de samenvatting bij 1%.
Het tweede stuk is de rekening van één site. Nicolas Bouliane (320 punten) maakt sinds 2017 All About Berlin en leeft ervan. Hij schrijft dat de site 75% van het verkeer is kwijtgeraakt aan AI Overviews.
Wij wilden weten wat site-eigenaren dichter bij huis ertegen doen, en of dat kan werken.
Wat we deden
Een script haalde bij 40 bekende Nederlandse websites drie dingen op, één site tegelijk: robots.txt, llms.txt en de homepage. De lijst is onze eigen keuze: 15 nieuws- en vaktitels, 10 winkels en marktplaatsen, 4 banken en verzekeraars en 11 publieke en naslagsites. Negen sites weigerden het verzoek vanaf een datacenteradres. De tellingen gaan dus over 31 robots.txt-bestanden en 29 homepages. Het script en de volledige uitvoer, met een regel per site, staan in de repository van deze site.
Drie knoppen, heel verschillend gebruikt
- Blokkeert CCBot (Common Crawl)
- 11 sites
- Blokkeert GPTBot (training OpenAI)
- 10 sites
- Blokkeert ClaudeBot
- 10 sites
- Blokkeert Google-Extended (training Gemini)
- 10 sites
- Blokkeert OAI-SearchBot (zoeken in ChatGPT)
- 8 sites
- Blokkeert Googlebot (Search, AI Overviews)
- 0 sites
- Beperkt de snippet op de homepage
- 0 sites
De blokkeerders zijn bijna allemaal uitgevers. Negen sites blokkeren GPTBot, ClaudeBot, PerplexityBot, Google-Extended en CCBot tegelijk: NOS, NU.nl, De Telegraaf, AD, de Volkskrant, Trouw, Het Parool, RTL en Het Financieele Dagblad. De overheidssites, Tweakers en Wikipedia noemen er geen. MediaMarkt noemt ze om ze toe te laten en blokkeert alleen CCBot.
| Instelling | Waar die volgens de leverancier over gaat | Gebruik |
|---|---|---|
GPTBot |
Training van de modellen van OpenAI | 10 van 31 blokkeren |
OAI-SearchBot |
Verschijnen in de zoekantwoorden van ChatGPT | 8 van 31 blokkeren |
Google-Extended |
Training en grounding van Gemini buiten Search | 10 van 31 blokkeren |
Googlebot |
Google Search, inclusief de AI-functies | 0 van 31 blokkeren |
nosnippet, max-snippet |
Wat Google van een pagina mag tonen, ook in AI-functies | 0 van 29 beperken |
llms.txt |
Niets wat iemand heeft kunnen meten | 2 van 40 hebben er een |
Waarom de bloklijst het product mist dat de klikken afpakt
Google is er in de documentatie voor site-eigenaren duidelijk over: “AI is built into Search and integral to how Search functions, which is why robots.txt directives for Googlebot is the control for site owners”. Wie wil beperken wat er getoond wordt, moet nosnippet, data-nosnippet, max-snippet of noindex gebruiken. Over het token dat tien van deze sites blokkeren zegt de lijst van crawlers: “Google-Extended does not impact a site’s inclusion in Google Search”. Het is niet eens een crawler. Het heeft geen eigen user agent en vertelt Google alleen wat het mag doen met pagina’s die Googlebot al heeft opgehaald.
De enige schakelaar voor AI Overviews is dus de schakelaar voor Google zelf. Wie Googlebot blokkeert, verdwijnt uit Search. Een snippetlimiet kort ook het gewone resultaat in, en volgens Google moet een pagina “eligible to be shown in Google Search with a snippet” zijn om überhaupt als bronlink bij een AI-antwoord te kunnen staan. Een uitgever die snippets beperkt, levert de vermelding in en houdt de samenvatting van andermans berichtgeving over hetzelfde nieuws.
De homepages laten zien welke kant uitgevers kiezen. Zes hebben een snippet-instelling en geen daarvan beperkt iets. Twee bekeken we met de hand, de Volkskrant en RTL: beide zeggen max-snippet:-1, en dat betekent geen limiet. Dezelfde sites die elke AI-crawler bij naam weren, vertellen Google dat het zoveel mag citeren als het wil. Voor een site die afhankelijk is van bezoekers uit zoekmachines is dat een verstandige keuze. Het is ook het tegenovergestelde van een blokkade.
De crawler die een tweede blik verdient
OpenAI beschrijft twee aparte tokens. GPTBot verzamelt trainingsdata. OAI-SearchBot bepaalt of een site in de zoekantwoorden van ChatGPT kan verschijnen: “sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers”. De eerste blokkeren kost je niets. De tweede is degene die een lezer kan sturen.
Acht van de 10 sites die GPTBot blokkeren, blokkeren ook OAI-SearchBot. NOS en BNR doen dat niet: hun bestand noemt de trainingscrawler en laat de zoekcrawler met rust. Of de andere acht daarvoor kozen of een lijst overnamen, valt uit een bestand niet op te maken.
Is het doel “train niet op ons, stuur ons wel lezers”, dan ziet het bestand er zo uit. Het volgt de documentatie van de leveranciers; het effect hebben we niet getest:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Wat we op deze site doen, en waarom dat anders is
Onze eigen robots.txt noemt twaalf AI-crawlers en laat ze allemaal toe. De site publiceert ook een llms.txt en van elke pagina een Markdown-versie. Dat is het omgekeerde van de nieuwssites, en beide keuzes kunnen kloppen. Een uitgever verkoopt het bezoek. Wij verkopen werk, en een bedrijf dat correct wordt aangehaald in een antwoord verliest niets als de lezer niet doorklikt.
Over llms.txt moeten we eerlijk zijn, want we hebben er een. Google zegt: “you don’t need to create new machine readable files, AI text files, or markup” voor zijn AI-functies. RevScope haalt twee onderzoeken aan die geen verband vonden tussen het bestand en geciteerd worden. Twee van de 40 sites in onze meting hebben er een. Wij houden de onze omdat agents die langskomen hem kunnen lezen. Als manier om gevonden te worden zouden we hem aan niemand verkopen.
Wat wij zouden doen
Sorteer de crawlers op wat ze teruggeven en beslis per rij.
| Je site leeft van | Trainingscrawlers | Zoek- en antwoordcrawlers | Snippetlimiet |
|---|---|---|---|
| Paginaweergaven en abonnementen | Blokkeren | Toelaten, en meten wat ze sturen | Nee: het kost ook gewone resultaten |
| Leads en reputatie | Eigen keuze | Toelaten | Nee |
| Betaalde inhoud achter een login | Blokkeren | Blokkeren | data-nosnippet op de betaalde delen |
Leg het bestand daarna eens per kwartaal naast de pagina’s van de leveranciers. Er komen sneller tokens bij dan bloklijsten worden bijgewerkt: 10 sites in onze meting blokkeren ClaudeBot en 7 blokkeren Claude-SearchBot.
Wat ons oordeel zou veranderen: een instelling van Google die AI Overviews losmaakt van de rest van Search. Googles crawlerpagina kondigt voor begin 2027 steun aan voor een gedeeld signaal voor trainingsvoorkeuren. Dat gaat opnieuw over training en niet over antwoorden.
Grenzen van deze meting
Veertig sites die wij hebben gekozen, op één dag, vanaf één datacenteradres. Negen gaven geen antwoord, en een weigering kan zelf een botblokkade zijn die nooit in robots.txt staat. We lazen alleen homepages; een site kan snippets op artikelen beperken en op de voorpagina niet. robots.txt is een verzoek dat een crawler mag negeren, en we hebben niet gemeten of crawlers zich eraan houden. Een crawler telde als geblokkeerd wanneer zijn eigen groep, of de groep met het sterretje, de hele site uitsluit.
Bronnen
- Google Search Central: AI features and your website
- Google: lijst van crawlers, waaronder Google-Extended
- OpenAI: overzicht van de crawlers van OpenAI
- RevScope: Google's AI Overviews cut clicks to websites by 40%
- Pew Research Center: Google users are less likely to click on links when an AI summary appears
- Nicolas Bouliane: AI is killing All About Berlin
- AI-zoeken
- robots.txt
- SEO
- AI-antwoorden