AI-crawlers in robots.txt: GPTBot, ClaudeBot, PerplexityBot en de rest

AI-aanbieders gebruiken verschillende crawlers voor verschillende doelen: een voor hun zoekfunctie, een voor het ophalen van een pagina op verzoek van een gebruiker en een voor modeltraining. In robots.txt stelt u ze afzonderlijk in. Zo kunt u zichtbaar blijven in AI-zoekresultaten en toch zelf bepalen of uw teksten voor training worden gebruikt.

Drie soorten AI-crawlers

• Zoekcrawlers bouwen de index waaruit een AI-assistent zijn antwoorden en bronvermeldingen haalt. Blokkeert u deze, dan kan de assistent u niet als bron noemen.
• Ophalers op verzoek halen een pagina op wanneer een gebruiker daar in een gesprek om vraagt, bijvoorbeeld door een link te plakken. Sommige aanbieders geven aan dat robots.txt hier niet altijd op van toepassing is, omdat een mens het verzoek doet.
• Trainingscrawlers verzamelen tekst voor het trainen van toekomstige modellen. Blokkeren heeft volgens de aanbieders geen invloed op uw zichtbaarheid in hun zoekresultaten.

Google en Apple werken iets anders. Googlebot verzorgt zowel de gewone zoekresultaten als de AI Overviews; daar is geen aparte crawler voor. Google-Extended en Applebot-Extended zijn geen crawlers maar producttokens: ermee geeft u aan of opgehaalde inhoud voor training mag worden gebruikt.

Overzicht per aanbieder

Deze lijst van 15 crawlers van 7 aanbieders is dezelfde lijst waarmee de SEO-GEO Optimizer robots.txt-bestanden toetst. Elke regel is laatst gecontroleerd tegen de documentatie van de aanbieder op 2026-10-29.

Voorbeeld: zichtbaar in AI-zoekresultaten, geen training

Wilt u gevonden worden door AI-assistenten, maar uw teksten niet beschikbaar stellen voor modeltraining? Dan ziet uw robots.txt er bijvoorbeeld zo uit:

# Zoeken en ophalen: toegestaan
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

# Training: niet toegestaan
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.voorbeeld.nl/sitemap.xml

Meerdere User-agent-regels boven één groep regels zijn toegestaan volgens de internetstandaard RFC 9309. Een crawler volgt de groep die het meest specifiek bij zijn naam past; staat hij nergens genoemd, dan geldt de groep voor *.

Drie veelgemaakte fouten

1. Alles blokkeren met één regel

Wie uit voorzorg alle AI-bots blokkeert, verdwijnt ook uit de zoekfuncties van die assistenten. Maak een bewuste keuze per soort crawler.

2. Een firewall die anders beslist dan robots.txt

Uw robots.txt kan een crawler toestaan, terwijl uw hostingpartij of CDN hem op netwerkniveau weigert, bijvoorbeeld met een instelling als "blokkeer AI-bots". De crawler krijgt dan een foutmelding en u ziet het niet in robots.txt terug. Controleer daarom ook de instellingen van uw firewall of CDN.

3. Inhoud die pas met JavaScript verschijnt

De meeste AI-crawlers voeren geen JavaScript uit. Bouwt uw website de tekst pas in de browser op, dan zien ze een vrijwel lege pagina, ook als ze welkom zijn. Zorg dat de hoofdtekst in de eerste HTML-respons van de server staat.

Hoe u uw instellingen controleert

1. Open uwdomein.nl/robots.txt en zoek de namen uit de tabel hierboven.
2. Bepaal per soort crawler of dat is wat u wilt.
3. Vraag uw hostingpartij of er AI-bots op netwerkniveau worden geblokkeerd.
4. Bekijk de broncode van een pagina (niet de geïnspecteerde versie) en controleer of uw hoofdtekst erin staat.

Twijfelt u over llms.txt? Lees llms.txt uitgelegd.