Как и по теме Идеальный robots.txt для DLE в этой тоже веб мастера не пришли к общему мнению.
Конечно, нет вообще ничего идеального не говоря уже об идеальном robots.txt под определенную CMS.
Ну что ж попробуем и для вордпресс подобрать идеальный оптимальный robots.txt на основе прочитанного.
User-agent: * Crawl-delay: 3 Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Host: www.google.com Sitemap: http://google.com/sitemap.xml
Кстати есть даже плагины для вордпресс по настройке роботс.тхт.
Я не считаю нужным дублировать правила отдельно для Яндекса как советуют некоторые вебмастера.
Как говорится: краткость — мать таланта
Если в комментариях убедите в обратном, то пример robots.txt в посте поправлю.

