Создание правильного файла robots.txt для WordPress
Опубликовано: 31.10.2017
Всем привет!
Наряду с созданием правильного файла sitemap.xml еще одним очень важным шагом для улучшения индексации вашего интернет-ресурса поисковыми системами является создание правильного файла robots.txt , о чем и пойдет речь в данной статье.
Что такое robots.txt?
Файл robots.txt используется для управления индексированием ресурса роботами поисковых систем. Он должен размещаться в корне сайта и представляет собой файл ограничения доступа поисковым роботам к содержимому на http-сервере.
В файле robots.txt может содержаться следующая информация:
Файл Robots txt - настройка, директивы и популярные ошибки
области сайта (страницы, записи и т.д.), которые можно индексировать и которые индексировать нельзя; размещение файла sitemap.xml ; области сайта, которые нужно индексировать в первую очередь; главный домен сайта (с www или без).
С помощью правильно составленного файла robots.txt можно избежать дублирования контента (необходимо запретить индексацию тегов или рубрик), тогда вероятность того, что одна и та же статья может быть доступна по нескольким URL и, к примеру, дважды попасть в индекс поисковой системы сведется к нулю. Дублирование контента воспринимается поисковыми системами крайне негативно.
10.1. Как создать правильный файл robots txt
Также иногда возникает необходимости запретить индексирование какого-либо фрагмента интернет-ресурса, в чем опять же на помощь приходит файл robots.txt.
Как создать правильный robots.txt для WordPress?
На первом этапе необходимо создать в корневом каталоге вашего сайта на хостинге (как настроить доступ к файлам на хостинге с помощью FTP-клиента я писал в статье ) текстовый файл robots.txt , в котором уже будем вносить изменения с помощью текстового редактора (рекомендую использовать notepad++).
Сегодня | Завтра | ||
USD | 32.62 | 32.50 | |
EUR | 39.90 | 39.92 |
Обменник | Переходов |
Wmchanger | 6 |
E-Market | 5 |
WMtoCash.com | 4 |
Str-Money | 3 |
Hot-Change | 3 |
Вы можете получить WMR-бонус в размере 0,01-0,10 WMR на свой кошелек 1 раз в сутки | |
Кошелек
|
|
Код
|
|
Обмен Webmoney |