Direct naar de inhoud
Mardi Gras Developers
Menu+
← Alle artikelen

· 6 min lezen

Nederlandse nieuwssites blokkeren ChatGPT. Googles AI-antwoorden niet

We lazen de robots.txt van 40 Nederlandse websites. Tien blokkeren Googles AI-trainingstoken, geen enkele blokkeert Googlebot of beperkt snippets, de enige knoppen voor AI Overviews.

Geschreven met hulp van AI, nagelezen en aangevuld door Kevin Bos.

De robots.txt van NU.nl spreekt 66 user agents aan. Die van NRC 194. Toch staat de crawler die Googles AI-antwoorden voedt bij geen van de 31 Nederlandse sites die we konden lezen op de bloklijst:

Google-Extended: fully blocked on 10 of 31, named in 13
Googlebot: fully blocked on 0 of 31, named in 0
[…]
home pages that limit the snippet: 0 of 29

Googlebot en de snippet-instellingen zijn de enige knoppen die Google biedt voor zijn AI Overviews. De sites met de langste bloklijsten laten ze allebei ongemoeid, en daar hebben ze een goede reden voor. Over die klem gaat dit artikel.

0 van 31Nederlandse sites in onze meting die de crawler achter Googles AI-antwoorden blokkerenOnze meting in de sandbox, 18 november 2026

Waarom dit nu speelt

Op 18 november stonden twee stukken over hetzelfde verlies op Hacker News. De analyse van RevScope (382 punten) zet de onderzoeken op een rij. In een experiment met willekeurige toewijzing van Saharsh Agarwal en Ananya Sen klikten mensen die AI Overviews zagen 0,37 keer per zoekopdracht door naar een andere website. Bij mensen voor wie de Overviews verborgen waren was dat 0,62 keer: een daling van 39,8%. Wij lazen de weergave van RevScope en niet het werkdocument zelf. Het stuk van Pew Research Center lazen we wel. Pew volgde in maart 2025 het surfgedrag van 900 Amerikaanse volwassenen: een klik op een gewoon resultaat bij 8% van de bezoeken aan een pagina met AI-samenvatting, 15% zonder, en een klik op een link in de samenvatting bij 1%.

Het tweede stuk is de rekening van één site. Nicolas Bouliane (320 punten) maakt sinds 2017 All About Berlin en leeft ervan. Hij schrijft dat de site 75% van het verkeer is kwijtgeraakt aan AI Overviews.

Wij wilden weten wat site-eigenaren dichter bij huis ertegen doen, en of dat kan werken.

Wat we deden

Een script haalde bij 40 bekende Nederlandse websites drie dingen op, één site tegelijk: robots.txt, llms.txt en de homepage. De lijst is onze eigen keuze: 15 nieuws- en vaktitels, 10 winkels en marktplaatsen, 4 banken en verzekeraars en 11 publieke en naslagsites. Negen sites weigerden het verzoek vanaf een datacenteradres. De tellingen gaan dus over 31 robots.txt-bestanden en 29 homepages. Het script en de volledige uitvoer, met een regel per site, staan in de repository van deze site.

Drie knoppen, heel verschillend gebruikt

Blokkeert CCBot (Common Crawl)
11 sites
Blokkeert GPTBot (training OpenAI)
10 sites
Blokkeert ClaudeBot
10 sites
Blokkeert Google-Extended (training Gemini)
10 sites
Blokkeert OAI-SearchBot (zoeken in ChatGPT)
8 sites
Blokkeert Googlebot (Search, AI Overviews)
0 sites
Beperkt de snippet op de homepage
0 sites
Een derde van de sites blokkeert de AI-crawlers bij naam. Niemand gebruikt de twee knoppen die volgens Google voor AI Overviews gelden. Onze meting van 31 robots.txt-bestanden en 29 homepages, 18 november 2026

De blokkeerders zijn bijna allemaal uitgevers. Negen sites blokkeren GPTBot, ClaudeBot, PerplexityBot, Google-Extended en CCBot tegelijk: NOS, NU.nl, De Telegraaf, AD, de Volkskrant, Trouw, Het Parool, RTL en Het Financieele Dagblad. De overheidssites, Tweakers en Wikipedia noemen er geen. MediaMarkt noemt ze om ze toe te laten en blokkeert alleen CCBot.

Instelling Waar die volgens de leverancier over gaat Gebruik
GPTBot Training van de modellen van OpenAI 10 van 31 blokkeren
OAI-SearchBot Verschijnen in de zoekantwoorden van ChatGPT 8 van 31 blokkeren
Google-Extended Training en grounding van Gemini buiten Search 10 van 31 blokkeren
Googlebot Google Search, inclusief de AI-functies 0 van 31 blokkeren
nosnippet, max-snippet Wat Google van een pagina mag tonen, ook in AI-functies 0 van 29 beperken
llms.txt Niets wat iemand heeft kunnen meten 2 van 40 hebben er een

Waarom de bloklijst het product mist dat de klikken afpakt

Google is er in de documentatie voor site-eigenaren duidelijk over: “AI is built into Search and integral to how Search functions, which is why robots.txt directives for Googlebot is the control for site owners”. Wie wil beperken wat er getoond wordt, moet nosnippet, data-nosnippet, max-snippet of noindex gebruiken. Over het token dat tien van deze sites blokkeren zegt de lijst van crawlers: “Google-Extended does not impact a site’s inclusion in Google Search”. Het is niet eens een crawler. Het heeft geen eigen user agent en vertelt Google alleen wat het mag doen met pagina’s die Googlebot al heeft opgehaald.

Jouw paginaGooglebot0 van 31 blokkerenGoogle Searchresultaten + OverviewGoogle-Extended10 van 31 blokkerenGemini-appstraining, groundingOAI-SearchBot8 van 31 blokkerenChatGPT zoekenantwoorden met links
AI Overviews worden gevoed door Googlebot. Het token dat uitgevers blokkeren zit op een andere tak.

De enige schakelaar voor AI Overviews is dus de schakelaar voor Google zelf. Wie Googlebot blokkeert, verdwijnt uit Search. Een snippetlimiet kort ook het gewone resultaat in, en volgens Google moet een pagina “eligible to be shown in Google Search with a snippet” zijn om überhaupt als bronlink bij een AI-antwoord te kunnen staan. Een uitgever die snippets beperkt, levert de vermelding in en houdt de samenvatting van andermans berichtgeving over hetzelfde nieuws.

De homepages laten zien welke kant uitgevers kiezen. Zes hebben een snippet-instelling en geen daarvan beperkt iets. Twee bekeken we met de hand, de Volkskrant en RTL: beide zeggen max-snippet:-1, en dat betekent geen limiet. Dezelfde sites die elke AI-crawler bij naam weren, vertellen Google dat het zoveel mag citeren als het wil. Voor een site die afhankelijk is van bezoekers uit zoekmachines is dat een verstandige keuze. Het is ook het tegenovergestelde van een blokkade.

De crawler die een tweede blik verdient

OpenAI beschrijft twee aparte tokens. GPTBot verzamelt trainingsdata. OAI-SearchBot bepaalt of een site in de zoekantwoorden van ChatGPT kan verschijnen: “sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers”. De eerste blokkeren kost je niets. De tweede is degene die een lezer kan sturen.

Acht van de 10 sites die GPTBot blokkeren, blokkeren ook OAI-SearchBot. NOS en BNR doen dat niet: hun bestand noemt de trainingscrawler en laat de zoekcrawler met rust. Of de andere acht daarvoor kozen of een lijst overnamen, valt uit een bestand niet op te maken.

Is het doel “train niet op ons, stuur ons wel lezers”, dan ziet het bestand er zo uit. Het volgt de documentatie van de leveranciers; het effect hebben we niet getest:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Wat we op deze site doen, en waarom dat anders is

Onze eigen robots.txt noemt twaalf AI-crawlers en laat ze allemaal toe. De site publiceert ook een llms.txt en van elke pagina een Markdown-versie. Dat is het omgekeerde van de nieuwssites, en beide keuzes kunnen kloppen. Een uitgever verkoopt het bezoek. Wij verkopen werk, en een bedrijf dat correct wordt aangehaald in een antwoord verliest niets als de lezer niet doorklikt.

Over llms.txt moeten we eerlijk zijn, want we hebben er een. Google zegt: “you don’t need to create new machine readable files, AI text files, or markup” voor zijn AI-functies. RevScope haalt twee onderzoeken aan die geen verband vonden tussen het bestand en geciteerd worden. Twee van de 40 sites in onze meting hebben er een. Wij houden de onze omdat agents die langskomen hem kunnen lezen. Als manier om gevonden te worden zouden we hem aan niemand verkopen.

Wat wij zouden doen

Sorteer de crawlers op wat ze teruggeven en beslis per rij.

Je site leeft van Trainingscrawlers Zoek- en antwoordcrawlers Snippetlimiet
Paginaweergaven en abonnementen Blokkeren Toelaten, en meten wat ze sturen Nee: het kost ook gewone resultaten
Leads en reputatie Eigen keuze Toelaten Nee
Betaalde inhoud achter een login Blokkeren Blokkeren data-nosnippet op de betaalde delen

Leg het bestand daarna eens per kwartaal naast de pagina’s van de leveranciers. Er komen sneller tokens bij dan bloklijsten worden bijgewerkt: 10 sites in onze meting blokkeren ClaudeBot en 7 blokkeren Claude-SearchBot.

Wat ons oordeel zou veranderen: een instelling van Google die AI Overviews losmaakt van de rest van Search. Googles crawlerpagina kondigt voor begin 2027 steun aan voor een gedeeld signaal voor trainingsvoorkeuren. Dat gaat opnieuw over training en niet over antwoorden.

Grenzen van deze meting

Veertig sites die wij hebben gekozen, op één dag, vanaf één datacenteradres. Negen gaven geen antwoord, en een weigering kan zelf een botblokkade zijn die nooit in robots.txt staat. We lazen alleen homepages; een site kan snippets op artikelen beperken en op de voorpagina niet. robots.txt is een verzoek dat een crawler mag negeren, en we hebben niet gemeten of crawlers zich eraan houden. Een crawler telde als geblokkeerd wanneer zijn eigen groep, of de groep met het sterretje, de hele site uitsluit.

Bronnen

  1. Google Search Central: AI features and your website
  2. Google: lijst van crawlers, waaronder Google-Extended
  3. OpenAI: overzicht van de crawlers van OpenAI
  4. RevScope: Google's AI Overviews cut clicks to websites by 40%
  5. Pew Research Center: Google users are less likely to click on links when an AI summary appears
  6. Nicolas Bouliane: AI is killing All About Berlin
  • AI-zoeken
  • robots.txt
  • SEO
  • AI-antwoorden

Read this article in English

Speelt dit ook bij jullie?

In een kennismaking van 30 minuten kijken Kevin of Pascal met je mee wat dit voor jullie systemen betekent.

Plan een kennismaking