Яндекс проиндексировал более 3 миллиардов документов. А сколько среди них не спама?

Не так давно, Яндекс преодолел планку 3 млрд. проиндексированных документов. Это много. Это очень много. Но вот вопрос, а что это за документы? Давайте проведем маленький опыт и постараемся узнать, что вообще индексирует Яндекс?
Вот анекдот, который рассказал Костя Каширин, в обсуждая как раз эту же тему:
Два товарища встретились. Один прямо изнывает:

- Чувак, я такой анекдот тебе сейчас расскажу, оборжешься!
- Ну давай!
- Идет по пустыне верблюд. Идет и срёт. И срёт он, и срёт, и срёт, и срёт.

И тут рассказчик понимает, что он забыл, что дальше. Он начинает тянуть время:

- И срёт верблюд, и срёт. И срё, понимаешь, и срёт!

Другу надоело это дело.

- Слушай, а в чем соль-то?
- А соли нет - одно гавно!

Я конечно не буду утверждать, что индекс Яндекса состоит исключительно из говна, но то, что говна там очень много это факт. Я думаю, что миллионов 500 говна там точно есть, а может и больше. Кстати, давайте определимся, что считать говном, а что нет. На мой взгляд, тут все очень просто. Дорвеи, пустые страницы, страницы ошибок, всевозможные логины и админки – все это говно, которому в индексе не место. И так, давайте посмотрим.

Вот несколько запросов, которые позволяют оценить степень заспамленности пс Яндекс. И это - только вершина айcберга, ибо мне просто лень копаться в этом говне. Я просто прошелся по таблеточкам. Обратите внимание, что запросы исключительно на английском языке.

cheap phentermine
http://www.yandex.ru/yandsearch?text=cheap+phentermine
Результат поиска: страниц — 1 006 667, сайтов — не менее 5 461cheap viagra
http://www.yandex.ru/yandsearch?text=cheap+viagra
Результат поиска: страниц — 1 569 604, сайтов — не менее 5 769order viagra
http://www.yandex.ru/yandsearch?text=order+viagra&rpt=rad
Результат поиска: страниц — 1 109 606, сайтов — не менее 5 241xanax
http://www.yandex.ru/yandsearch?text=xanax
Результат поиска: страниц — 2 240 734, сайтов — не менее 4 764pills
http://www.yandex.ru/yandsearch?text=pills
Результат поиска: страниц — 2 733 268, сайтов — не менее 7 419buy cialis
http://www.yandex.ru/yandsearch?text=buy+cialis
Результат поиска: страниц — 1 619 585, сайтов — не менее 5 643Hydrocodone
http://www.yandex.ru/yandsearch?text=Hydrocodone
Результат поиска: страниц — 843 625, сайтов — не менее 4 175online pharmacy
http://www.yandex.ru/yandsearch?text=online+pharmacy
Результат поиска: страниц — 1 489 346, сайтов — не менее 7 271tramadol
http://www.yandex.ru/yandsearch?text=tramadol
Результат поиска: страниц — 1 995 817, сайтов — не менее 5 171(title[index of /]) && (Last modified)
http://www.yandex.ru/yandsearch?text=%28title%5Bindex+of+%2F%5D%29+%26%26+%28Last+modified%29
Результат поиска: страниц — 2 543 947, сайтов — не менее 8 986

И это я даже не стал брать разнообразный адалт и порнyxy.

Сами попробуйте.

Ну дальше можно пройтись по ошибкам, логинам и админкам, но думаю и так ясно, что спама весьма много. Более того, 99% этого спама на английском. В Яндексе. И это в то время, когда тысячи вебмастеров стонут от того, что их БиП сайты то и дело вылетают из индекса, или индексируются крайне слабо.

Собственно это проблема не только и не сколько Яндекса, а скорее всех современных ПС. Спама в любой из них весьма много, и борьба с ним ведется. Так что пожелаем успехов в этом нелегком деле

Источник: http://interner.ru/index.php/archives/159

1
2259
0