Файл robots.txt
Опубликовано: 30.10.2017
Для управлений индексацией сайта поисковыми системами существует файл robots.txt . Если рассуждать глобально, то файл robots.txt позволяет запрещать одни файла или каталоги для индексации и разрешать другие. Вот о том, как этим файлом пользоваться, как разрешать и запрещать индексацию определённых страниц и каталогов, Вы узнаете из этой статьи.
Robots.txt - это обычный текстовый файл, который расположен в корне сайта. Файл robots.txt состоит из набора директив, каждая из которых сообщает какую-либо информацию поисковому роботу.
Но прежде чем приступать к разбору различных директив, нужно определиться с общим синтаксисом:
Файл Robots txt - настройка, директивы и популярные ошибки
директива:значение
Как видите, синтаксис самый наипростейший. А теперь давайте разберём самые важные директивы.
User-Agent
Эта директива означает, к какому роботу относятся все последующие директивы. Если стоит значение " *", то это относится абсолютно ко всем поисковым роботам. Если же Вы хотите выделить определённую поисковую систему, то необходимо поставить в качестве значение имя поискового робота (например, " Yandex ", " Google ", " Rambler ", " Mail " и так далее). Пример использования директивы " User-Agent ":
User-agent: GoogleAllow
Данная директива разрешает индексацию указанных в значении элементов. Например, так:
Allow: /imagesВ данном примере мы разрешаем индексацию каталога " images ".
Disallow
Противоположность директиве " Allow ", то есть, наоборот, запрещает индексацию указанных элементов. Пример:
Disallow: /libraryТакже очень важно помнить о приоритете. Приоритет имеет та директива, которая расположена выше. Например, в таком файле robots.txt :
Сегодня | Завтра | ||
USD | 32.62 | 32.50 | |
EUR | 39.90 | 39.92 |
Обменник | Переходов |
Wmchanger | 6 |
E-Market | 5 |
WMtoCash.com | 4 |
Str-Money | 3 |
Hot-Change | 3 |
Вы можете получить WMR-бонус в размере 0,01-0,10 WMR на свой кошелек 1 раз в сутки | |
Кошелек
|
|
Код
|
|
Обмен Webmoney |