Файл robots.txt для Drupal

Про то, для чего нужен файл robots.txt и его синтаксис Вы можете прочитать в статье: как сделать robots.txt для сайта. В этой статье мы лишь рассмотрим файл robots.txt для движка Drupal

Стандартный файл robots.txt, который появляется по умолчанию при установке имеет ряд недостатков, которые легко исправить. Итак, ниже представлен код robots.txt для Drupal:

User-agent: *
Disallow: /database/
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /sites/
Disallow: /themes/
Disallow: /scripts/
Disallow: /updates/
Disallow: /profiles/
Disallow: /profile
Disallow: /profile/*
Disallow: /xmlrpc.php
Disallow: /cron.php
Disallow: /update.php
Disallow: /install.php
Disallow: /index.php
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: *register*
Disallow: *login*
Disallow: /top-rated-
Disallow: /messages/
Disallow: /book/export/
Disallow: /user2userpoints/
Disallow: /myuserpoints/
Disallow: /tagadelic/
Disallow: /referral/
Disallow: /aggregator/
Disallow: /files/pin/
Disallow: /your-votes
Disallow: /comments/recent
Disallow: /*/edit/
Disallow: /*/delete/
Disallow: /*/export/html/
Disallow: /taxonomy/term/*/0$
Disallow: /*/edit$
Disallow: /*/outline$
Disallow: /*/revisions$
Disallow: /*/contact$
Disallow: /*downloadpipe
Disallow: /node$
Disallow: /node/*/track$
Disallow: /*&
Disallow: /*%
Disallow: /*?page=0
Disallow: /*section
Disallow: /*order
Disallow: /*?sort*
Disallow: /*&sort*
Disallow: /*votesupdown
Disallow: /*calendar
Disallow: /*index.php
Allow: /*?page=
Disallow: /*?
Host: основной_адрес_сайта
Sitemap: http://основной_адрес_сайта/sitemap.xml

Не забудьте изменить “основной_адрес_сайта” – на ваш настоящий адрес сайта (без http://). После создания файла robots.txt поместите его в корень Вашего сайта так, чтобы он был доступен по ссылке: основной_адрес_сайта/robots.txt




Читайте также:

• Robots.txt для Joomla

• Robots.txt для WordPress

• Robots.txt для PHPbb

• Robots.txt для IPB

• Robots.txt для PHPSHOP

← Перейти в каталог CMS

Читайте также:

Copy Protected by Chetan's WP-Copyprotect.