Robots.txt - Glas040

# Robots.txt voor Glas040.nl
# Laatste update: 7 januari 2025

# Algemene regels voor alle bots
User-agent: *
Allow: /

# Specifieke regels voor belangrijke bots
User-agent: Googlebot
Allow: /
Crawl-delay: 1

User-agent: Bingbot
Allow: /
Crawl-delay: 1

User-agent: Slurp
Allow: /
Crawl-delay: 1

# Blokkeer niet-essentiële bots
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

# Blokkeer toegang tot admin/private directories
Disallow: /admin/
Disallow: /private/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /search/
Disallow: /api/

# Blokkeer parameter URLs
Disallow: /*?*
Disallow: /*&*
Disallow: /*utm_*
Disallow: /*ref=*
Disallow: /*source=*

# Blokkeer bestanden die niet geïndexeerd hoeven te worden
Disallow: /*.pdf$
Disallow: /*.doc$
Disallow: /*.docx$
Disallow: /*.xls$
Disallow: /*.xlsx$
Disallow: /*.zip$
Disallow: /*.rar$

# Sitemap locatie
Sitemap: https://www.glas040.nl/sitemap.xml
Sitemap: https://www.glas040.nl/sitemap-xml

# Crawl-delay voor alle andere bots
Crawl-delay: 2

# Specifieke toestemmingen voor belangrijke directories
Allow: /inspiratie/
Allow: /blog/
Allow: /products/
Allow: /services/
Allow: /contact/
Allow: /offerte-aanvraag/
Allow: /eindhoven-*/
Allow: /veranda-*/
Allow: /glazen-*/
Allow: /terrasoverkapping-*/
Allow: /pergola-*/
Allow: /carport-*/
Allow: /moderne-*/
Allow: /wat-kost-*/
Allow: /waarom-*/
Allow: /verschil-*/

# Robots.txt voor specifieke media
User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-News
Allow: /

User-agent: Googlebot-Video
Allow: /

# Blokkeer scraping bots
User-agent: HTTrack
Disallow: /

User-agent: Wget
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: WebCopier
Disallow: /