Как сделать robot.txt

Создаем на своем компьютере текстовый документ. Можно это сделать просто нажав правой кнопкой мыши по рабочему столу своего компьютера и выбрать Создать - Текстовый документ.txt

 

Открываем его и пишем для начала самый простой robot.txt

User-agent: *

Allow: /

 

Все. Сохраняем текстовый документ под именем robots.txt (не robot.txt, а robots.txt) и загружаем в корневую папку сайта. Это самый простой, который разрешает всем поисковым системам индексировать все страницы.

Более сложный robots.txt можно сделать, чтобы запретить индексирование дублей страниц или страниц, которые Вы не хотите, чтобы роботы поисковых систем индексировали (см. ниже).

 

Как скрыть страницы от поисковиков

Скрыть страницы от поисковиков можно просто прописав дополнительные строчки в robots.txt, например, Вы хотите скрыть страницы дублей и всякую всячину, которая всегда выскакивает лишней в WordPress, следовательно, пишите в robots.txt

Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: */comment-page*
Disallow: /tag

А если Вы хотите скрыть определенную страницу с определенным url адресом, например, http://donewsait.ru/zarabotok, то пишите:

Disallow: /zarabotok

Обычно, для wordpress делают такие robots.txt

User-agent: *

Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: */comment-page*
Disallow: /tag
Allow: /

Host: donewsait.ru
Sitemap: http://donewsait.ru/sitemap.xml

 

Как сделать карту сайта

Карту сайта можно сделать, совершенно не "заморачиваясь" с помощью множества бесплатных онлайн сервисов. Я, например, пользуюсь сервисом www.xml-sitemaps.com На этом сервисе можно сделать карту сайта в разных форматах: .xml, html и другие. Если Вы не знаете в каком формате Вам будет лучше сделать карту, то просто сделайте ее в формате .xml Правда, этот сервис делает карты для сайтов меньше 500 страниц, так что если у Вас сайт не очень большой, то можете смело делать карту.

Делается все очень просто:

1. Добавляем адрес Вашего сайта

2. Нажимаем на кнопку start

 

После того, как карта будет сделана, просто загрузите ее, нажав мышкой на нужную Вам карту (в формате xml или html), сначала на Ваш компьютер, а потом на Ваш хостинг в корневую папку сайта.

А если Вам не хочется каждый раз, как добавляете новую страницу переделывать карту сайта заново, то есть хорошее решение этой проблемы - плагин для автоматического ее создания, то есть Вы пишите страницы и они автоматически добавляются в карту Вашего сайта.

 

 

 

Комментарии: 2
  • #2

    Мира (Вторник, 03 Май 2016 12:03)

    У меня два вопроса:
    1.В файле Роботс.тхт я указала адрес карты сайта http://сайт/sitemap.xml, но когда по этому адресу прохожу, перенаправляет на http://сайт/sitemap_index.xml. Если поменяю адрес в этой строке, это не будет ошибкой?
    2. Если ссылка на карту сайта в роботсе уже есть, то саму карту в корневую папку загружать не надо?
    Карту мне автоматически сделал плагин (Yuast Seo), но она не в виде файла, а в виде ссылки на страницу. А как из нее сделать файл, чтобы загрузить в корневую папку? И надо ли это делать?

  • #1

    Сергей (Суббота, 12 Апрель 2014 18:23)

    Спасибо, хорошая статья!
    Нашел хороший сайт с большим количеством SEO инструментов http://webspeedboost.com/