Yahoo запустила самое крупное Apache Hadoop приложение в мире

На модерации Отложенный

Компания Yahoo запустила самое крупное приложение Apache Hadoop в мире. Yahoo! Search Webmap является Hadoop приложением, которое работает более чем на 10,000 основных линуксовых кластерах и помогает обрабатывать данные, используемые в каждом поисковом запросе Yahoo.

Построение Webmap начинается при индексировании страницы и позволяет создать базу данных всех страниц. Эти потоки данных затем обрабатываются алгоритмами машинного ранжирования и лежат в основе поиска от Yahoo.