Апр
19
2010

Идеальный robots.txt для DLE

DLE Не так давно я открыл на своем любимом форуме две темы о robots.txt. Как и предполагал много было флуда и рассуждений, разногласий. Но все же отсеяв все не нужное таки выбрал оптимальный вариант идеального robots.txt для DLE.

Сразу хочу заметить, что этот robots.txt рекомендуется ставить на нормальных сайтах для людей, а не сателлитах и гс под сапу.

User-agent: *
Disallow:
Host: www.site.ru
Disallow: /*print
Disallow: /user/
Disallow: */rss.xml
Disallow: /tags/
Crawl-delay: 10
Sitemap: //www.site.ru/sitemap.xml

и не забываем поменять site.ru на адрес Вашего сайте.

Для сателлитов и ГС можно разрешить индексацию страниц для печати и пользователей. Придерживаюсь мнения чем короче robots.txt тем лучше. Зачем к примеру расписывать запрет на индексацию личных сообщений внутри сайта если роботы итак посещают сайт как гости этого мне не понять.

Если у Вас есть замечания по поводу этого файла или свои дополнения рад буду их услышать.



Метки: ,


Читайте, не отвлекайтесь! =)

© Интернет дом ленивца - личный блог о сео, смо, сайтостроению. Построен на небольших заметках автора. Копирование материалов без активной ссылки на darmoid.ru запрещается и преследуется законом об авторском праве!
Вверх!