Générateur de robots.txt

Certains moteurs de recherche respectent la ' netiquette '. Pour éviter qu'ils visitent certaines parties d'un site web, il suffit de leur préciser dans un fichier texte robots.txt contenant des directives quils suivront : répertoire à visiter, extensions à ne pas indexer, etc. Cette page propose à la fois une explication complète de ce mécanisme et un générateur en ligne. Il suffit donc de quelques minutes pour générer son propre fichier robots.txt.
www.mcanerin.com/EN/SEO