Kennisbank · Bijgewerkt 3 november 2026
robots.txt: AI-zoekbots toelaten en trainingsbots blokkeren
Je kunt AI-assistenten je producten laten vinden zonder je teksten af te staan voor het trainen van AI-modellen. De meeste AI-bedrijven gebruiken namelijk aparte bots voor zoeken en voor training, en die regel je apart in je robots.txt.
Welke bot doet wat
| Bot | Van | Waarvoor | Als je hem blokkeert |
|---|---|---|---|
OAI-SearchBot | OpenAI | Zoeken in ChatGPT | Je verschijnt niet in zoekantwoorden van ChatGPT |
GPTBot | OpenAI | Training van AI-modellen | Je content wordt niet voor training gebruikt |
ChatGPT-User | OpenAI | Bezoekt een pagina als een gebruiker daarom vraagt | robots.txt geldt hier mogelijk niet |
Claude-SearchBot | Anthropic | Zoekindex voor Claude | Je pagina’s worden niet geïndexeerd voor zoeken |
Claude-User | Anthropic | Haalt pagina’s op voor vragen van gebruikers | Claude kan je pagina niet ophalen |
ClaudeBot | Anthropic | Training van AI-modellen | Je toekomstige content wordt niet voor training gebruikt |
PerplexityBot | Perplexity | Zoekresultaten in Perplexity (niet voor training) | Je verschijnt niet in Perplexity |
Perplexity-User | Perplexity | Bezoekt een pagina als een gebruiker daarom vraagt | Negeert robots.txt doorgaans |
Google-Extended | Training van Gemini én het gebruik van je pagina’s in Gemini-antwoorden | Geen effect op Google Zoeken, wel op Gemini |
Een voorbeeld voor webshops
Deze robots.txt laat de zoekbots toe, blokkeert de trainingsbots van OpenAI en Anthropic, en houdt alle bots uit je winkelwagen en kassa:
# AI-zoekbots mogen de shop lezen, trainingsbots niet
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# Alle andere bots, waaronder OAI-SearchBot, Claude-SearchBot en PerplexityBot
User-agent: *
Disallow: /cart
Disallow: /checkout
Sitemap: https://www.example-shop.nl/sitemap.xmlWaar je op let
- Blokkeer nooit alles. De regel
User-agent: *metDisallow: /houdt ook de zoekbots buiten, en daarmee ChatGPT, Claude en Perplexity. - Google-Extended is een afweging. Blokkeren houdt je content uit de training van Gemini, maar Gemini kan je pagina’s dan ook niet gebruiken als het vragen beantwoordt.
- Wijzigingen hebben tijd nodig. OpenAI noemt ongeveer 24 uur.
- Hoe je robots.txt aanpast, verschilt per webshopsysteem. Vaak gaat het via het thema of een SEO-plug-in; vraag bij twijfel je webbouwer.
Met de gratis Shelv-scan zie je direct of de zoekbots van AI-assistenten bij je productpagina’s kunnen.
Hoe staat jouw productpagina ervoor?
Plak het adres van een productpagina in de gratis scan. Je ziet binnen een paar seconden wat AI-assistenten wel en niet kunnen lezen.