Файл robots.txt для WordPress

Вот хороший вариант файлика robots.txt для блогового движка WordPress:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /author
Disallow: */trackback
Disallow: */feed
Disallow: */comments
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /2011 #если у Вас много годов,
Disallow: /2010 #то стоит это все
Disallow: /2009 #запретить к индексации
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: VASH_SITE.ru
Sitemap: http://VASH_SITE.ru/sitemap.xml

Для тех, кто не хочет, чтобы индексировались метки, допишите:

Disallow: /tags

Советую также написать ещё вот это:

Disallow: /category

Это нужно, чтобы избавится от дублирования контента. Ваши посты доступны так: site.ru/имя_категории/имя_поста, а так же так site.ru/category/имя_категории/имя_поста.




Читайте также:

• Делаем robots.txt

• Robots.txt для DLE

• Robots.txt для PHPbb

• Robots.txt для IPB

← Перейти в каталог CMS

Читайте также:

Copy Protected by Chetan's WP-Copyprotect.