Tools / Robots.txt checker
Robots.txt checker voor Google en AI-bots
Vul een pagina of je domein in. We lezen je robots.txt en laten per bot zien of hij de pagina mag lezen: Google, Bing, ChatGPT, Claude, Perplexity en de bots die teksten verzamelen voor AI-training.
We controleren de regels voor precies deze pagina. Vul je alleen je domein in, dan kijken we naar de homepage.
Bezig met controleren…
Deze pagina
Test met de naam van de bot
We halen de pagina op terwijl we ons voordoen als de bot. Een firewall kan AI-bots weren, los van je robots.txt. Echte bots worden soms anders behandeld, dus zie dit als aanwijzing.
Je robots.txt
Bekijk het bestand
Drie soorten AI-bots
Niet elke AI-bot doet hetzelfde. Wie alles blokkeert wat met AI te maken heeft, verdwijnt ook uit de zoekresultaten van ChatGPT en Perplexity.
| Soort | Wat de bot doet | Voorbeelden |
|---|---|---|
| Zoeken | Leest je pagina zodat die in de antwoorden en bronnen van een AI-zoekmachine kan verschijnen. | OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot |
| Op verzoek | Haalt je pagina op op het moment dat iemand een vraag stelt waar je pagina bij hoort. | ChatGPT-User, Claude-User, Perplexity-User |
| Training | Verzamelt teksten om taalmodellen mee te trainen. Heeft geen directe invloed op of je gevonden wordt. | GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot |
Training blokkeren en toch vindbaar blijven
Wil je niet dat je teksten worden gebruikt om modellen te trainen, maar wil je wel in ChatGPT, Claude en Perplexity verschijnen? Blokkeer dan alleen de trainingsbots:
User-agent: GPTBotDisallow: /User-agent: ClaudeBotDisallow: /User-agent: Google-ExtendedDisallow: /
Google-Extended blokkeren heeft volgens Google geen invloed op Google Zoeken. Je pagina's blijven in de zoekresultaten en in de AI-overzichten staan, want die komen van Googlebot. Meer achtergrond lees je in ons artikel over robots.txt.
Robots.txt is een verzoek, geen slot
Een robots.txt vraagt bots om bepaalde pagina's over te slaan. Nette bots houden zich daaraan, maar het bestand houdt niemand tegen. Bots die een pagina ophalen op verzoek van een gebruiker, volgen de regels ook niet altijd. Wil je echt iets afschermen, zet het dan achter een login. Andersom kan een firewall of beveiligingsplugin bots weren die je robots.txt gewoon toelaat. Daarom testen we ook met de naam van de bot.
Gevonden worden in AI-zoekmachines vraagt meer dan open deuren. Hoe wij dat aanpakken, staat op AI SEO en technische SEO.
Veelgestelde vragen. Over robots.txt.
Klopt een uitkomst niet? Mail ons op info@rankpilot.nl.
Vraag je 5 gratis verbeterpunten aanWaar staat mijn robots.txt?
Altijd in de hoofdmap van je domein, bijvoorbeeld jouwwebsite.nl/robots.txt. Een robots.txt in een submap wordt genegeerd.
Wat als ik geen robots.txt heb?
Dan mogen alle bots alles lezen. Dat is voor de meeste websites prima. Een robots.txt is vooral nodig om pagina's uit te sluiten of je sitemap aan te wijzen.
Haalt Disallow een pagina uit Google?
Niet altijd. Disallow verbiedt het lezen, maar een pagina met links ernaartoe kan toch in Google verschijnen, zonder beschrijving. Wil je een pagina uit Google, gebruik dan een noindex en laat de pagina wel leesbaar.
Moet ik GPTBot blokkeren?
Dat is een keuze. Blokkeer je GPTBot, dan gebruikt OpenAI je teksten niet voor training. Je kunt dan nog steeds in ChatGPT verschijnen, zolang je OAI-SearchBot toelaat.
Bewaren jullie mijn gegevens?
Nee. We halen je robots.txt en de pagina op als je op de knop drukt en sturen de uitkomst terug. We slaan niets op.
Gevonden worden in Google en AI? Vraag 5 gratis verbeterpunten aan.
KennismakingEen half uur met een specialist over je markt, je doelen en wat past.
Gratis SEO-analyse5 verbeterpunten voor jouw site, binnen 1 werkdag in je mail.
RankPilot
Wat valt er voor jouw site te halen?
Kies 5 gratis verbeterpunten in je mail, of een kennismaking met een specialist. Vrijblijvend.
