# Fichier robots.txt proposรฉ par K^SH | kash.fr | seo@kash.fr | +33 662 550 103
# Plateforme : WordPress
# Sous-domaine concernรฉ (URL ร modifier) : www.K_SITEWEB.TLD
# On autorise tous les robots.
User-agent: *
# On leur propose d'attendre 10 secondes entre chaque page (valable pour tous les robots sauf Google)
Crawl-delay: 10
# On รฉvite le crawl de rรฉpertoires
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wpcontent/cache
Disallow: /trackback
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz$
# On autorise Google ร exรฉcuter de l'ajax
Allow: /wp-admin/admin-ajax.php
# On รฉvite le crawl de certaines pages
Disallow: /wp-login.php
Disallow: /?s=*
# Dรฉclaration du sitemap (URL ร modifier)
Sitemap : https://K_NOMDUSITE.TLD/sitemap_index.xml
# Source : http://kash.fr/ressources/seo/robots-txt/robots-txt-pour-wordpress/