http://wm-monitoring.ru/ ')) {alert('Спасибо за то что установили нашу кнопку! =)');} else {alert('Очень жаль! =(');}"> http://wm-monitoring.ru/

Создание правильного файла robots.txt для WordPress

Опубликовано: 31.10.2017

видео Создание правильного файла robots.txt для WordPress

Создание и настройка файла Robots.txt

Всем привет!

Наряду с созданием правильного файла sitemap.xml еще одним очень важным шагом для улучшения индексации вашего интернет-ресурса поисковыми системами является создание правильного файла robots.txt , о чем и пойдет речь в данной статье.



Что такое robots.txt?

Файл robots.txt используется для управления индексированием ресурса роботами поисковых систем. Он должен размещаться в корне сайта и представляет собой файл ограничения доступа поисковым роботам к содержимому на http-сервере.

В файле robots.txt может содержаться следующая информация:


Файл Robots txt - настройка, директивы и популярные ошибки

области сайта (страницы, записи и т.д.), которые можно индексировать и которые индексировать нельзя; размещение файла sitemap.xml ; области сайта, которые нужно индексировать в первую очередь; главный домен сайта (с www или без).

С помощью правильно составленного файла robots.txt можно избежать дублирования контента (необходимо запретить индексацию тегов или рубрик), тогда вероятность того, что одна и та же статья может быть доступна по нескольким URL и, к примеру, дважды попасть в индекс поисковой системы сведется к нулю. Дублирование контента воспринимается поисковыми системами крайне негативно.


10.1. Как создать правильный файл robots txt

Также иногда возникает необходимости запретить индексирование какого-либо фрагмента интернет-ресурса, в чем опять же на помощь приходит файл robots.txt.

Как создать правильный robots.txt для WordPress?

На первом этапе необходимо создать в корневом каталоге вашего сайта на хостинге (как настроить доступ к файлам на хостинге с помощью FTP-клиента я писал в статье ) текстовый файл robots.txt , в котором уже будем вносить изменения с помощью текстового редактора (рекомендую использовать notepad++).

Карта
rss