Créez votre fichier robots.txt facilement

Personnalisé Modèle prêt à l'emploi

Création personnalisée

Robot à configurer : Choisissez le robot d'exploration pour lequel vous définissez des règles

Autoriser tout par défaut Permet l'accès à toutes les pages sauf celles que vous spécifierez Bloquer tout par défaut Bloque l'accès à toutes les pages sauf celles que vous autoriserez

Ajouter des règles

Options avancées

Bloquer des types de fichiers Bloquer certains types de fichiers empêche les moteurs de recherche de les indexer. Utile pour les fichiers confidentiels ou volumineux.

PDF ZIP DOC XLS PPT

Ajouter un Sitemap Un sitemap aide les moteurs de recherche à découvrir et indexer toutes les pages de votre site.

Configurer le Crawl-delay Le Crawl-delay indique aux robots combien de temps attendre entre chaque requête. Utile pour réduire la charge sur votre serveur.

Modèle prêt à l'emploi

Le contenu a été copié dans le presse-papiers !