Новый шаг к терминатору: IBM уменьшила дата-центр машинного обучения до размеров чипа

Исследователи разработали процессор, способный заменить дата-центр в задачах машинного обучения. В теории он позволит обходиться без подключения к облаку и наделить машину возможностями самообучения автономно, без интернет-соединения.


Новый чип для машинного обучения

Исследователи IBM разработали чип, способный в десятки тысяч раз увеличить скорость машинного обучения. Он получил название «резистивный процессор» (Resistive Processing Unit — RPU) и объединил в себе как функцию обрабатывающего устройства, так и функцию памяти.

Речь идет об обучении глубоких нейронных сетей (Deep Neural Networks — DNN) — нейронных сетей, включающих большое количество скрытых слоев между слоями ввода и вывода.

Глубокие нейронные сети

В последние несколько лет DNN в большой степени оказали влияние на мировой бизнес. Эти сети позволяют выполнять крупномасштабный анализ данных — распознавание голоса, визуальной информации (например, похожих объектов), схожих тенденций и т. д.

Обучение DNN — сложная задача, для выполнения которой требуется мощность дата-центров и не один день. Эту проблему и призван решить резистивный процессор — обновлять весовые связи нейронной сети со значительно меньшим расходом энергии и без подключения к облаку, то есть автономно.



Возможности чипа

По словам исследователей, один RPU позволит сократить до нескольких часов задачи по обучению нейронных сетей, на решение которых сейчас требуется несколько дней работы вычислительного кластера уровня дата-центра.

Разработчики процессора рассчитали, что при наличии 1 млрд нейронных связей один новый чип справится с задачей в 30 тыс. раз быстрее по сравнению с современными процессорами, используемыми в машинном обучении.

«Система же с несколькими RPU позволит решать проблемы больших данных с триллионами параметров, которые сегодня решить невозможно. К таким задачам относятся, например, распознавание естественного языка и перевод между всеми языками мира, анализ крупных потоков коммерческих и научных данных в реальном времени, обработка данных с огромного количества датчиков интернета вещей», — говорится в работе исследователе, авторами которой стали Тайфун Гокмен (Tayfun Gokmen) и Юрий Власов (Yurii Vlasov).

Устройство чипа

Технически новый чип базируется на перспективных технологиях энергонезависимой памяти — фазовой памяти (Phase Change Memory — PCM) и резистивной памяти со случайным доступом (Resistive Random Access Memory — RRAM). При этом указанное преимущество в скорости достигается «благодаря специальной конструкции системы, разработанной с учетом особенностей резистивных устройств». Что же касается изготовления резистивных процессоров, то для этого подойдут современные технологии CMOS, говорится в докладе.