Robots.txt klinkt als iets waar alleen developers mee bezig zijn – maar trust me: als je een beetje serieus met je SEO bezig bent, wil je deze gast aan je zijde. Je robots.txt-bestand vertelt zoekmachines welke delen van je website ze wél mogen bekijken… en welke dus lekker even met rust gelaten mogen worden. Zie het als een slim geplaatste afzetlint voor Googlebot: hierheen wel, daarheen niet.
En waarom dat belangrijk is? Omdat Google maar een beperkte hoeveelheid tijd (je zogeheten crawlbudget) besteedt aan jouw site. Als jij wil dat je belangrijkste content wordt opgepikt en niet verzandt in technische meuk, dan moet je sturen. Robots.txt = grip krijgen op wat Google wel en niet ziet. Geen chaos, maar controle.
Wat je wél en juist niet wil laten crawlen
Denk aan interne zoekresultaten, adminpagina’s, testomgevingen of scripts. Allemaal onzin voor Google. Daar moet ‘ie zijn tijd niet aan verspillen. Wat je wél wilt? Dat ‘ie je landingspagina’s, blogs en waardevolle contentpagina’s gretig bezoekt, snapt en indexeert.
Maar let op: robots.txt blokkeert alleen het crawlen – niet de indexatie. Dus als een pagina ergens anders gelinkt wordt én geen noindex-tag heeft, dan kan die alsnog zichtbaar zijn in de zoekresultaten. Voor echte onzichtbaarheid moet je dus net een stapje verder gaan.
Robots.txt instellen: hoe moeilijk is het echt?
Spoiler: valt mee. Eén regeltje code kan al een groot verschil maken. Je kunt bijvoorbeeld hele mappen uitsluiten met iets als Disallow: /admin/. Maar: één foutje en je gooit per ongeluk je hele site op slot. Niet handig. Dubbelcheck dus altijd, laat er desnoods een SEO-specialist naar kijken en test je instellingen via Google Search Console.
Het is slim om sowieso een robots.txt op je domein te hebben – zelfs als je er niets blokkeert. Dan laat je aan Google weten: deze site is onder controle. En die indruk wil je altijd wekken.
FAQ over Robots.txt
Q: Waar vind ik mijn robots.txt bestand?
A: Op jouwdomein.nl/robots.txt. Je kunt het openen in je browser.
Q: Moet elke website een robots.txt hebben?
A: Ja. Ook als je niks blokkeert, is het slim om aan te geven wat wél mag.
Q: Blokkeer ik hiermee indexatie?
A: Nee. Robots.txt voorkomt crawling, niet per se indexatie. Combineer het met een noindex voor maximale controle.
