Как установить файл robots.txt?

ВОПРОС

Как установить файл robots.txt?

ОТВЕТ

Для создания файла robots.txt, создайте текстовый документ и скопируйте в него данный текст:

User-agent: Yandex

 Disallow: /cgi-bin

 Disallow: /wp-admin

 Disallow: /wp-includes

 Disallow: /wp-content/plugins

 Disallow: /wp-content/cache

 Disallow: /wp-content/themes

 Disallow: /wp-trackback

 Disallow: /wp-feed

 Disallow: /wp-comments

 Disallow: */trackback

 Disallow: */feed

 Disallow: */comments

 Host: www.вашсайт.ru

User-agent: *

 Disallow: /cgi-bin

 Disallow: /wp-admin

 Disallow: /wp-includes

 Disallow: /wp-content/plugins

 Disallow: /wp-content/cache

 Disallow: /wp-content/themes

 Disallow: /wp-trackback

 Disallow: /wp-feed

 Disallow: /wp-comments

 Disallow: */trackback

 Disallow: */feed

 Disallow: */comments

Sitemap: http://yourdomain.ru/sitemap.xml

В место Host: www.вашсайт.ru, пишите адрес Вашего сайта.

Сохраняете файл с названием robots.

Данный файл загружаете в корневую папку (publik_html) Вашего сайта.