Правильный robots.txt для wordpress
Опубликовано: 04.04.2018
Всем привет! Robots.txt для wordpress — неотъемлемая часть любого блога. К сожалению, часто начинающие блогеры об этом файле забывают. Самое время им напомнить.
Файл robots txt для сайта. Как создать правильный robots txt
Сейчас многие мои постоянные читатели покрутят у виска и скажут «Совсем Дима деградирует! Уже про robots.txt снова писать начал!». Может я и деградирую, но склерозом еще не страдаю. Вот статья про общие правила формирования этого файла была , а про robots.txt для wordpress пока нет. Надо исправить.
Сейчас очень часто сталкиваюсь с ним, то анализируя блоги моих читателей, то создавая новые блоги для них. Честно, надоело уже каждый раз лазить к себе на ftp за правильным robots.txt для wordpress. Пора выложить его к себе на блог, что я сейчас и сделаю.
User -agent : * Disallow : / cgi -bin Disallow : / wp -admin Disallow : / wp -includes Disallow : / wp -content /plugins Disallow : / wp -content /cache Disallow : / wp -content /themes Disallow : / trackback Disallow : */ trackback Disallow : * /*/trackback Disallow: */ */ feed$ /*/ Disallow: */ feed$ Disallow : /*?* User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */ trackback Disallow : * /*/trackback Disallow: */ */ feed$ /*/ Disallow: */ feed$ Disallow : /*?* Host: fairheart.ru Sitemap: http://fairheart.ru/sitemap.xml.gz Sitemap: http://fairheart.ru/sitemap.xml |
Обязательно в трех местах вместо fairheart.ru впишите домен своего блога. Последние две строчки Sitemap прописывают адрес карты сайта для поисковых систем. Она создается с помощью плагина Google XML Sitemaps, и об это я подробно рассказал здесь .
Совсем забыл, ведь меня же читают и совсем новички, так что надо сказать пару слов, зачем он вообще нужен.
Текстовый файл robots.txt (оно и видно из разрешения) располагается в корневом каталоге сайта на ftp и содержит в себе инструкции для поисковых систем — какие части сайта им можно индексировать и добавлять в поиск, а какие нельзя. Другими словами, данный файл запрещает поисковым системам заходить в некоторые папки на сервере и читать их содержимое. Другое дело, что некоторые поисковики им порой пренебрегают — тот же Гугл иногда жрет все подряд.
Что же мы прячем от поисковых систем? Прежде всего служебные файлы и папки, в которых могут содержаться страницы с дублирующим контентом. К примеру, страницы с результатами поиска. Между прочим, я именно из-за этого не рекомендую пользоваться стандартным поиском. Лучше поставьте Яндекс поиск по сайту и радуйтесь жизни. Очень удобная вещь, которая еще может приносить доход, если в нее добавить контекстную рекламу Яндекса .
Короче говоря, создаете текстовый документ под названием robots, пихаете в него то, что я привел выше и закидываете в корневой каталог WordPress на сервере (там, где лежит папка wp-content и файл wp-config.php). Больше ничего с ним делать не надо.
Только не перепутайте название этого файла, а то знаю, что некоторые люди по невнимательности называют его robot.txt (без s на конце). Так делать нельзя. Будьте бдительны, друзья!
На этом на сегодня все. Стремился, чтобы статья получилась короткой и понятной, как шпаргалку у школьника. Спасибо за внимание, друзья!
Лучший способ выразить благодарность автору - поделиться с друзьями!
Узнавайте о появлении нового материала первым! Подпишитесь на обновления по email:
Следите за обновлениями в Twitter и RSS.
Сегодня | Завтра | ||
USD | 32.62 | 32.50 | |
EUR | 39.90 | 39.92 |
Обменник | Переходов |
Wmchanger | 6 |
E-Market | 5 |
WMtoCash.com | 4 |
Str-Money | 3 |
Hot-Change | 3 |
Вы можете получить WMR-бонус в размере 0,01-0,10 WMR на свой кошелек 1 раз в сутки | |
Кошелек
|
|
Код
|
|
Обмен Webmoney |