Апр
19
2010

Идеальный robots.txt для WordPress

Wordpress Как и по теме Идеальный robots.txt для DLE в этой тоже веб мастера не пришли к общему мнению.
Конечно, нет вообще ничего идеального не говоря уже об идеальном robots.txt под определенную CMS.

Ну что ж попробуем и для вордпресс подобрать идеальный оптимальный robots.txt на основе прочитанного.

User-agent: *
Crawl-delay: 3
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.google.com
Sitemap: //google.com/sitemap.xml  

Кстати есть даже плагины для вордпресс по настройке роботс.тхт.

Я не считаю нужным дублировать правила отдельно для Яндекса как советуют некоторые вебмастера.

Как говорится: краткость — мать таланта 🙂

Если в комментариях убедите в обратном, то пример robots.txt в посте поправлю.



Метки: ,


  • Михаил

    Подскажи как через robots.txt запретить индексацию рубрик
    Disallow /?cat=* думаю работать не будет.

  • Я запрещал так Disallow: */category

Читайте, не отвлекайтесь! =)

© Интернет дом ленивца - личный блог о сео, смо, сайтостроению. Построен на небольших заметках автора. Копирование материалов без активной ссылки на darmoid.ru запрещается и преследуется законом об авторском праве!
Вверх!