Идеальный robots.txt для WordPress

Wordpress Как и по теме Идеальный robots.txt для DLE в этой тоже веб мастера не пришли к общему мнению.
Конечно, нет вообще ничего идеального не говоря уже об идеальном robots.txt под определенную CMS.

Ну что ж попробуем и для вордпресс подобрать идеальный оптимальный robots.txt на основе прочитанного.

User-agent: *
Crawl-delay: 3
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.google.com
Sitemap: //google.com/sitemap.xml  

Кстати есть даже плагины для вордпресс по настройке роботс.тхт.

Я не считаю нужным дублировать правила отдельно для Яндекса как советуют некоторые вебмастера.

Как говорится: краткость — мать таланта 🙂

Если в комментариях убедите в обратном, то пример robots.txt в посте поправлю.

  1. Подскажи как через robots.txt запретить индексацию рубрик
    Disallow /?cat=* думаю работать не будет.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *