«Чувствительные материалы». Как СМИ скрывают от поисковиков свои старые тексты

Благодаря современным технологиям стало возможно хранить массивы данных в режиме онлайн. Для доступа к старым материалам СМИ теперь не нужно идти в библиотеку — они всегда под рукой, стоит только набрать интересующий запрос в поисковике и перейти по ссылке. Правда, как показало небольшое исследование «‎МБХ медиа», далеко не все статьи и не всех изданий индексируются поисковыми системами.

Люди и роботы

В корневом каталоге каждого сайта есть текстовый файл под названием «‎robots.txt» — это касается и СМИ. Как правило, с помощью этого файла можно исключить контент из результатов выкладки поисковиков, таких как Google и «‎Яндекс». Информация, которая содержится в «‎robots.txt», содержит рекомендации о том, какие страницы сайта стоит сканировать и обрабатывать поисковым роботам, а какие нет. 

Мы проанализировали сайты более двадцати наиболее цитируемых российских СМИ и обнаружили, что некоторые из них прописывают в этом файле конкретные ссылки на страницы, которые нельзя индексировать в поисковые системы. 

Например, у издания «Ведомости» под запретом оказалось расследование журналиста Рината Сагдиева о супруге бывшего замдиректора ФСКН Светлане Кийко. Из материала следует, что в 2014 году с помощью удачных перепродаж нефтяных активов и подмосковных земель женщина смогла заработать 538 миллионов рублей — в 10 раз больше, чем годом ранее. Сейчас этот материал доступен на сайте, но в поисковую выдачу не попадает. При этом Google на первых позициях предлагает копию текста на сайте compromat.ru. По словам бывшего главного редактора «Ведомостей» Татьяны Лысовой, в период ее работы в издании (до мая 2017 года) никаких запретов на индексацию не существовало. 

«‎Курск» и «‎Арбидол»  

У интернет-издания «Газета.Ru» перечень ограниченных к показу таким образом материалов гораздо больше — около 100. Большинство из статей посвящены гибели атомной подводной лодки «Курск». Публикации охватывают период с 2000 по 2002 год. Запрет на индексацию в поисковые системы касается не только крупных журналистских расследований, но и коротких новостей. 

Останки атомной подводной лодки “Курск”. Фото: militaryarms.ru

«Я не давал распоряжений закрывать доступ поисковиков к публикациям. Если такие решения и принимались, то до моего прихода, при другой команде. На данный момент невозможно отследить, когда, кем, каким образом и почему статьи были отключены от поиска», — заявил «МБХ медиа» главный редактор «Газета.Ru» Сергей Рыбка. 

Бывший редактор издания Михаил Котов предположил, что эти манипуляции были проведены уже после его ухода с должности.

Во время его работы в издании никаких просьб, требований и исков с чьей-либо стороны об ограничении доступа к этим материалам не поступало. 

«Мои коллеги и я проделали огромную работу, чтобы сделать спецпроект про “Курск”. Мы добывали сведения, которые было трудно достать. Этот материал был острой болью для власти, когда это все случилось, — сказал Котов. — Со временем эта история стала забываться, но, может быть, кому-то во власти и сейчас эта тема кажется слишком чувствительной, поэтому и пришлось подчищать». 

В опалу попала и лекция о слабой научно доказанной эффективности лекарственного препарата «Арбидол», написанная врачом-терапевтом из Белоруссии Павла Шкутко. В 2009 году тогда еще руководитель Минздрава, а ныне вице-премьер правительства Татьяна Голикова активно лоббировала применение этого средства в борьбе против гриппа и ОРВИ. При том, что многие ученые и врачи до сих пор считают «Арбидол» пустышкой, в 2021 году Минздрав одобрил это средство для лечения COVID-19. 

Технические неполадки

Общероссийский региональный телеканал «360°» тоже скрывает от поисковиков некоторые материалы. Все они касаются выборов в Московской области и Москве в 2018 году. Сейчас по ссылкам, указанным в «‎robots.txt», публикации недоступны. 

Алексей Каклюгин. Фото: личный архив

Главный редактор издания Алексей Каклюгин пояснил «МБХ медиа», что на этих страницах раньше располагался спецпроект — интерактивные карты, на которых в режиме реального времени обновлялась информация о явке и результатах голосования. 

«За два года эти карты технически устарели и перестали работать, мы их полностью обновляли для того, чтобы использовать под голосование по поправкам в конституцию. Как правило, от поисковых роботов закрывают техническую информацию, внутрикорпоративные разделы и устаревшие разделы», — сообщил Калюгин. 

Другие материалы, посвященные выборам 2018 года, по-прежнему доступны на сайте по соответствующему тегу. 

Ссылки на несколько текстов в файле «‎robots.txt» заданы у санкт-петербургского издания 78.ru, входящего в «Национальную медиа группу». Четверть из закрытых для индексации в поисковые системы статей касаются местных чиновников и их трат. Например, редакция ограничила доступ к новости 2017 года с заголовком: «‎Смольный закупает жалюзи на 13 млн, чтобы защитить чиновников от солнца в “Невской ратуше”».  

Главный редактор 78.ru Александр Анучкин отказался давать комментарий «‎МБХ медиа».