Blogger и robots.txt

На модерации Отложенный

     До недавнего времени на платформе Blogger не было доступа автора блога к файлу robots.txt.

     Поэтому поисковые роботы Яндекса часто индексировали то, что они принимали за дублированный контент на блоге, соответственно выбрасывая из поиска многие страницы. При проиндексированных страницах общим числом около 200, в поиске была только одна - главная .

      За исключение или разрешение на  индексирование поисковыми роботами страниц и отвечает файл, находящийся в корневой директории сайта, а именно robots.txt.

      В новом интерфейсе платформы Blogger предоставлена возможность самому изменить robots.txt.

Это делается прямо в панели управления, в настройках поиска, в разделе Поисковые роботы и индексация. В открывшемся окне просто вписываем такой robots.txt :

 

 

      User-agent: Mediapartners-Google

Disallow:

 

User-agent: *

Disallow: /search

Disallow: /p/search.html

Disallow: /tags/

Allow: /

 

Sitemap: http://bratmos.com/feeds/posts/default?orderby=updated

 

User-agent: Yandex

Disallow: /search

Disallow: /p/search.html

Disallow: /tags/

Allow: /

 

       Замените выделенное зеленым цветом название моего блога на свое и вы получите готовый файл robots.txt. Облако тегов в данном случае закрыто от индексирования поисковыми системами.