Wanneer je een website hebt, wil je natuurlijk dat mensen je vinden. Twee essentiële tools om je website beter vindbaar te maken in zoekmachines zoals Google zijn de XML-sitemap en het robots.txt bestand. Maar wat zijn deze bestanden precies, hoe gebruik je ze, en waar kun je ze vinden? Ik leg het je met liefde uit!
Een XML-sitemap is als een plattegrond voor zoekmachines. Het vertelt zoekmachines welke pagina's op je website belangrijk zijn, hoe vaak ze worden bijgewerkt en hoe ze onderling verbonden zijn. Hierdoor kunnen zoekmachines je website efficiënter en effectiever doorzoeken en indexeren.
Het robots.txt bestand is een tekstbestand dat zoekmachines instructies geeft over welke delen van je website ze wel en niet mogen crawlen. Hiermee kun je bijvoorbeeld voorkomen dat bepaalde gevoelige informatie wordt geïndexeerd.
Als je een XML-sitemap en een robots.txt bestand goed gebruikt, help je zoekmachines zoals Google je website beter te begrijpen en te indexeren. Dit kan leiden tot een hogere ranking in de zoekresultaten, meer verkeer naar je website en uiteindelijk meer klanten!
Maak een XML-sitemap aan
Gebruik tools zoals Yoast SEO (voor WordPress), Screaming Frog, of online sitemap generators om eenvoudig een XML-sitemap aan te maken. De meeste CMS tools kunnen je hierbij helpen. In Duda, de sitebuilder waar ik mee werk kun gaat dit geheel automatisch.
Upload je XML-sitemap naar je website
Plaats het bestand in de root directory van je website. Dit betekent dat de sitemap bereikbaar moet zijn via www.jouwwebsite.nl/sitemap.xml In Duda wordt dit heel eenvoudig voor je geregeld. Hier heb je geen technische kennis voor nodig en neem ik uiteraard ook graag voor je uit handen!
Dien je XML-sitemap in bij zoekmachines
Voor Google kun je dit doen via de Google Search Console. Ga naar 'Sitemaps', voer de URL van je sitemap in en klik op 'Verzenden'. Als je een website met Duda maakt, kun je je website gemakkelijk koppelen aan Search Console waarmee de sitemap automatisch op de juiste plek komt te staan.
Maak een robots.txt bestand aan
Je kunt een eenvoudig tekstbestand maken met een teksteditor zoals Notepad. Gebruik regels zoals User-agent: * en Disallow: /domein/ om zoekmachines te vertellen welke delen van je site ze niet moeten crawlen.
Upload je robots.txt naar je website
Dit bestand moet ook in de root directory geplaatst worden, dus bereikbaar via www.jouwwebsite.nl/robots.txt.
Controleer je robots.txt bestand
Gebruik tools zoals de robots.txt Tester in Google Search Console om te controleren of je bestand correct werkt.
Uiteraard wordt ook dit voor je ingericht wanneer ik een website voor je maak. Zo weet je zelf dat je hier niet de mist mee in gaat.
Het instellen van een XML-sitemap en een robots.txt-bestand is een belangrijke stap om je website beter vindbaar te maken. Maar hoe weet je zeker dat je alles correct hebt gedaan? Hier zijn enkele eenvoudige stappen om te controleren of deze bestanden goed functioneren.
Toegankelijkheid via de browser: Open een webbrowser en ga naar www.jouwwebsite.nl/sitemap.xml. Als de sitemap correct is ingesteld, zou je een lijst met URL’s moeten zien die de structuur van je website weergeven.
Gebruik Google Search Console
Inspecteer de sitemap inhoud
Bekijk het bestand zelf om te controleren of alle belangrijke pagina’s van je website erin staan. Elke URL moet tussen <url> en </url> tags staan en moet geldig zijn.
Toegankelijkheid via de browser: Open een webbrowser en ga naar www.jouwwebsite.nl/robots.txt. Je zou een tekstbestand moeten zien met regels die instructies geven aan zoekmachines.
Gebruik Google Search Console
Voorbeeld robots.txt inhoud
Bekijk het bestand zelf en controleer of de instructies kloppen. Een basisvoorbeeld van een robots.txt bestand kan er als volgt uitzien:
javascript
Code kopiëren
User-agent: *
Disallow: /privatedirectory/
Allow: /publicdirectory/
Hopelijk slaag jij direct voor iedere test en weet je nu dat je dit allemaal goed hebt ingesteld! Mocht dit nu niet het geval zijn en wil je eens sparren over het vindbaar maken van je website of het maken van een nieuwe website? Neem dan
contact met mij op, ik denk graag met je mee!
Alle rechten voorbehouden | Erikaderidder.nl