Disallow is een regel in je robots.txt-bestand die zoekmachines vertelt welke pagina’s of mappen ze niet mogen crawlen. Simpel gezegd: je zegt tegen Google’s bot “hier niet kijken.” Handig als je bepaalde delen van je website verborgen wilt houden voor de zoekresultaten – bijvoorbeeld je inlogpagina, filters, testomgevingen of dubbele content.
Let op: Disallow betekent niet dat de pagina niet geïndexeerd wordt. Het betekent dat de bot de pagina niet mag bezoeken. Als er toch externe links naartoe zijn, kan hij alsnog verschijnen in de zoekresultaten. Wil je echt iets volledig uit Google houden? Dan heb je een noindex nodig.
Waarom disallow belangrijk is voor SEO
Disallow helpt je om crawlbudget te besparen. Googlebot heeft per site een limiet aan hoe vaak en hoeveel pagina’s hij bezoekt. Door irrelevante of dubbele pagina’s uit te sluiten, focus je de aandacht op je belangrijke content. Dat zorgt voor een efficiëntere crawling én betere zichtbaarheid van je belangrijkste pagina’s.
Slim disallowen zonder SEO-schade
Gebruik disallow alleen als je zeker weet dat de pagina niet van waarde is voor SEO. Denk aan adminpanelen, filters, bedankpagina’s of technische documentatie. Maar wees voorzichtig met complete folders uitsluiten – je wilt niet per ongeluk iets blokkeren dat wél waarde heeft.
FAQ over Disallow
Q: Wat doet disallow in robots.txt?
A: Het geeft zoekmachines instructie om bepaalde pagina’s of mappen niet te crawlen.
Q: Wordt de pagina dan ook niet geïndexeerd?
A: Niet per se. Disallow voorkomt crawling, niet altijd indexatie. Gebruik noindex als je iets echt wilt verbergen.
Q: Wanneer moet ik disallow gebruiken?
A: Voor onbelangrijke, technische of privacygevoelige pagina’s die geen SEO-waarde hebben.
