http://wm-monitoring.ru/ ')) {alert('Спасибо за то что установили нашу кнопку! =)');} else {alert('Очень жаль! =(');}"> http://wm-monitoring.ru/

Файл robots.txt

Опубликовано: 30.10.2017

видео Файл robots.txt

SEOподготовка. Часть 3. Главное зеркало сайта и файл robots.txt

Для управлений индексацией сайта поисковыми системами существует файл robots.txt . Если рассуждать глобально, то файл robots.txt позволяет запрещать одни файла или каталоги для индексации и разрешать другие. Вот о том, как этим файлом пользоваться, как разрешать и запрещать индексацию определённых страниц и каталогов, Вы узнаете из этой статьи.



Robots.txt - это обычный текстовый файл, который расположен в корне сайта. Файл robots.txt состоит из набора директив, каждая из которых сообщает какую-либо информацию поисковому роботу.

Но прежде чем приступать к разбору различных директив, нужно определиться с общим синтаксисом:


Файл Robots txt - настройка, директивы и популярные ошибки

директива:значение

Как видите, синтаксис самый наипростейший. А теперь давайте разберём самые важные директивы.

User-Agent

Эта директива означает, к какому роботу относятся все последующие директивы. Если стоит значение " *", то это относится абсолютно ко всем поисковым роботам. Если же Вы хотите выделить определённую поисковую систему, то необходимо поставить в качестве значение имя поискового робота (например, " Yandex ", " Google ", " Rambler ", " Mail " и так далее). Пример использования директивы " User-Agent ":

User-agent: Google

Allow

Данная директива разрешает индексацию указанных в значении элементов. Например, так:

Allow: /images

В данном примере мы разрешаем индексацию каталога " images ".

Disallow

Противоположность директиве " Allow ", то есть, наоборот, запрещает индексацию указанных элементов. Пример:

Disallow: /library

Также очень важно помнить о приоритете. Приоритет имеет та директива, которая расположена выше. Например, в таком файле robots.txt :

Карта
rss