Масштабирование в Web - опыт Ebay

На модерации Отложенный

Ebay - один из самых больших интернет проектов сегодня во всех смыслах, в том числе и по техническим показателям. Рэнди Шуп, архитектор проекта, делится опытом в вопросах масштабирования. Он подготовил отличную презентацию, в которой касается не только практических вопросов, но и общих принципов “того, как нужно думать при построении крупных масштабируемых систем”.

Статистика Ebay

Для начала, некоторые поразительные показатели проекта:

  • Более 89 миллионов активных пользователей
  • 190 миллионов товаров в 50 тыс. категорий
  • Более 8 миллиардов URL запросов в день
  • Большая динамика развития - сотни новых функциональных улучшений каждые 3 месяца
  • 39 стран, 9 языков, 24 часа в сутки, 7 дней в неделю, круглый год
  • 70 миллиардов операций чтения/записи в день
  • Обработка 50 Тб данных в день
  • Анализ 50 Пб данных каждый день

10 главных уроков из опыта Ebay

  1. Партиционируйте все, что только можно. Если Вы не сможете что-то делить, Вы не сможете это масштабировать. Делите все на управляемые функциональный и информационные сектора.
  2. Асинхронность везде. Пользуйтесь очередями для отработки асинхронных задач.
  3. Автоматизируйте все. Все компоненты системы должны самообучаться и подстраиваться под нужды.
  4. Следите за провалами и узкими местами. Нужно мониторить все.
  5. Думайте о том, как обеспечить доступность, даже если некоторые компоненты системы не работают
  6. Эволюция (и даже революция) не обратима. Изменения - это постоянный процесс, планируйте расширение и последовательное внедрение изменений
  7. Зависимости важны. Минимизируйте и контролируйте их, используйте абстракцию и виртуализацию.
  8. Определяйте важность компонент и данных. Зная это, устанавливайте приоритеты задач.
  9. Сохраняйте как можно больше данных, это важно для анализа и прогнозирования.
  10. Максимизируйте утилизацию всех ресурсов системы, не давайте простаивать ресурсам.

Презентация

Самое интересное - это презентация, которая содержит в себе все выше перечисленные моменты с детальными комментариями.

Скачать презентацию:

ebay-presentation