Инженер создали компьютерный чип для супер-ИИ

На модерации Отложенный


Ученые создали самый большой в мире компьютерный чип – технологического титана, оснащенного 4 триллионами транзисторов. Этот массивный чип будет использоваться для запуска самого мощного суперкомпьютера с искусственным интеллектом (ИИ).

Новый Wafer Scale Engine 3 (WSE-3) - третье поколение суперкомпьютерной платформы Cerebras, разработанной для питания систем искусственного интеллекта, таких как GPT-4 от OpenAI и Claude 3 Opus от Anthropic.

Чип, включающий 900 000 ядер искусственного интеллекта, состоит из кремниевой пластины размером 21,5 на 21,5 сантиметра — точно так же, как и его предшественник 2021 года WSE-2.

Новый чип использует то же количество энергии, что и его предшественник, но в два раза мощнее, сообщили представители компании в пресс-релизе. Предыдущий чип включал 2,6 триллиона транзисторов и 850 000 ядер искусственного интеллекта — это означает, что компания примерно придерживалась Закона Мура, который гласит, что количество транзисторов в компьютерном чипе удваивается каждые два года.

Для сравнения, одним из самых мощных чипов, используемых в настоящее время для обучения моделей искусственного интеллекта, является графический процессор (GPU) Nvidia H200. Однако графический процессор-монстр Nvidia оснащен ничтожными 80 миллиардами транзисторов, что в 57 раз меньше, чем у Cerebras.

Однажды чип WSE-3 будет использоваться для питания суперкомпьютера Condor Galaxy 3, который будет базироваться в Далласе, штат Техас, сообщили представители компании.

Суперкомпьютер Condor Galaxy 3, который находится в стадии разработки, будет состоять из 64 "строительных блоков" системы искусственного интеллекта Cerebras CS-3, которые питаются от чипа WSE-3. После объединения и активации вся система будет производить 8 эксафлопс вычислительной мощности.

Затем, в сочетании с системами Condor Galaxy 1 и Condor Galaxy 2, производительность всей сети достигнет в общей сложности 16 эксафлопс.

Операции с плавающей запятой в секунду (FLOPs) — это измерение производительности числовых вычислений системы, где 1 эксафлоп равен одному квинтиллиону (1018) FLOPs.

Для сравнения, самым мощным суперкомпьютером в мире на данный момент является суперкомпьютер Frontier Национальной лаборатории Окридж, который вырабатывает примерно 1 эксафлоп мощности.

Суперкомпьютер Condor Galaxy 3 будет использоваться для обучения будущих систем искусственного интеллекта, которые в 10 раз больше, чем GPT-4 или Google Gemini, сообщили представители компании. Например, GPT-4 использует около 1,76 триллиона переменных (известных как параметры); Condor Galaxy 3 сможет обрабатывать системы искусственного интеллекта с примерно 24 триллионами параметров.