Cerebras представила масштабируемый суперкомпьютер для ИИ

Генеральный директор компании Cerebras, Андрю Фельдман, представил ИИ-суперкомпьютер, получивший название Condor Galaxy 1, способный выполнять 2 экзафлопса, то есть 2 миллиарда миллиардов операций в секунду. Но это только начало, поскольку компания планирует удвоить количество операций в течение 12 недель. К началу 2024 года планируется добавить еще две системы вдвое большего размера. Их целью является создание сети из девяти суперкомпьютеров, общая производительность которой составит 36 эксафлопс.

Cerebras не единственная компания, работающая над такими массивными системами. Другие производители также разрабатывают компьютеры, ориентированные на ИИ, но используют разные подходы - либо собственные специализированные процессоры, либо графический процессор Nvidia-H100. Хотя пока еще рано говорить о размере и возможностях большинства таких систем, Condor Galaxy 1 уже считается одним из самых мощных суперкомпьютеров.

Одной из особенностей ИИ-суперкомпьютеров Cerebras является возможность легкого масштабирования ресурсов. Например, для обучения сети с 40 млрд. параметров потребуется примерно столько же времени, сколько и для сети с 1 млрд. параметров, но при выделении 40-кратно больших аппаратных ресурсов.

Важно отметить, что для данного масштабирования не требуется написание дополнительного кода. Ранее линейное масштабирование было сложной задачей из-за трудности разделения больших нейронных сетей на работающие эффективно части. Однако сейчас линейное масштабирование от 1 до 32 CS-2 производится всего одним нажатием кнопки, как подчеркивают в компании.

Согласно словам Фельдмана, спрос на обучение крупных нейронных сетей резко возрос. В настоящее время количество компаний, занимающихся обучением нейросетевых моделей с 50 миллиардами и более параметров, составляет более 100, в то время как в прошлом году их было всего 2.