Yahoo изменил технику краулинга

На модерации Отложенный

Компания Yahoo объявила об изменении техники краулинга, которое привнесено в технологию поиска в связи с отзывами многочисленных пользователей.

Теперь компания снизила количество краулинговых машин, но увеличила эффективность просмотра сайта роботом.

Это сделано для того, чтобы снизить нагрузку, которую испытывает сайт при просмотре его краулером.

По словам администрации, новый краулер все время совершенствуется для улучшения покрытия и эффективности при снижении количества запросов и общей нагрузки на сайты.