Компания Cerebras Systems сбросила покрывало со своего нового процессора Wafer Scale Engine 3 (WSE-3) — и это гигантский чип с неимоверными возможностями.
Чип предназначен для задач, связанных с искусственным интеллектом, и он действительно гигантский. В нём содержится 4 триллиона транзисторов, собранных в 900 тысяч ИИ-ядер.
И это не просто демонстрационный процессор. Он лёг в основу суперкомпьютера CS-3 — монстра, способного обучать ИИ-модели с 24 триллионами параметров. Чип связан с 1,2 ПБ внешней памяти, что тоже впечатляет. Сам суперкомпьютер за день обрабатывает модель с 70 миллиардами параметров.
Похоже, что графический процессор H100 от NVIDIA, ориентированный на вычисления и искусственный интеллект, скоро получит обновление.
Процессор H100 — это самое производительное предложение, доступное в нескольких вариантах: H100 PCIe, H100 SXM и H100 NVL (со спаренным GPU). Сейчас H100 оснащён 80 ГБ оперативной памяти HBM2E, как в версии PCIe, так и SXM5. Лишь версия H100 NVL оснащается 188 ГБ HBM3, что означает спаренную карту с 94 ГБ памяти. Однако в скором времени, NVIDIA может выпустить одиночные версии акселератора с 94 ГБ и 64 ГБ памяти, о чём гласят свежие записи в PCI ID Repository.
Ускорители NVIDIA H100
В PCI ID Repository появились две записи: «Очень прошу добавить H100 SXM5 64 GB в 2337» и «Очень прошу добавить H100 SXM5 94 GB в 2339». Это означает, что NVIDIA может готовить новые версии H100.
В сентябре 2022 года появились сообщения, будто NVIDIA готовит вариацию H100 со 120 ГБ памяти, однако официального подтверждения этому так и не появилось. Вполне возможно, что соответствующие PCIe ID появились исключительно в лабораториях, куда соответствующее оборудование передавалось на тестирование. Будут ли новые версии доступны в продаже, покажет только время.
Соединённые Штаты Америки начали очередной виток по ограничению доступа Китая и России к высоким технологиям, запретив AMD и NVIDIA поставлять GPU для создания суперкомпьютеров.
Теперь американское правительство ввело специальные лицензионные ограничения для NVIDIA на поставки A100 и H100. Компания отмечает, что под новые ограничения попадают «DGX или любые другие системы, которые включают интегрированные цепи A100 или H100».
Графические процессоры A100 были выпущены NVIDIA в 2020 году. Они предназначены для машинного обучения и основаны на архитектуре Ampere. Более совершенные GPU H100, выпущенные в марте, основаны на Hopper. Под ограничение попадают все процессоры A100, и иные, которые обладают большей пиковой производительностью и производительностью ввода-вывода.
Ускоритель NVIDIA A100
Аналогичные ограничения касаются и AMD. Компания сообщила, что она получила те же требования по лицензионным ограничениям. Под них попадают чипы AMD MI250, а вот линейка MI100 не должна попасть в этот ряд. Китайское подразделение AMD сообщило местному изданию IC Smart, что новое указание правительства США касается ограничений по производительности операций с плавающей запятой двойной точности. Также эти ограничения подтвердили китайские компании Baidu, Tencent и ByteDance.
Целью всех этих ограничений является желание правительства США ограничить возможности Китая и России в создании систем искусственного интеллекта гражданско-военной направленности, которые затем могут быть использованы сугубо для милитаристских целей.
Компания Meta, до недавнего времени называвшаяся Facebook, представила миру новый суперкомпьютер AI Research SuperCluster (RSC), который будет использоваться для создания метавселенных.
Когда он будет закончен, это будет самый быстрый суперкомпьютер. Но даже на первом этапе строительства он займёт пятое место в мире. Компания отмечает, что следующее поколение искусственного интеллекта будет разблокировано мощным суперкомпьютером, который сможет выполнять квантиллионы операций в секунду, с чем и может справиться RSC.
Суперкомпьютер RSC у Meta
Главной целью использования RSC Meta считает построение лучших моделей ИИ, которые будут обучены на основе миллионов примеров. Компания отмечает, что подобные технологии будут иметь важное значение для метавселенных, и Meta сейчас придаёт им большое внимание, поскольку считает, что приложения и продукты на основе ИИ будут играть важную роль.
Что касается аппаратной составляющей, то суперкомпьютер RSC основан на 760 системах NVIDIA DGX A100, которые в сумме содержат 6080 GPU. Каждый из этих GPU связывается при помощи двухуровневой Clos-ткани NVIDIA Quantum 200 Gb/s InfiniBand. Для хранения данных используется массив Pure Storage FlashArray объёмом 175 ПБ и 46 ПБ кэша в системах Penguin Computing Altus. Также предусмотрены 10 ПБ во Pure Storage FlashBlade. Однако уже к концу года число ускорителей вырастет в 2,5 раза до 16 000 GPU.
Использоваться на этой машине будет собственное ПО PyTorch AI, поскольку, по мнению компании, оно обеспечивает наиболее продуктивную среду для разработчиков.
В Сети появились слухи, что в скором времени NVIDIA изготовит новый GPU под именем Hopper. Тут важно отметить, что это не игровое решение, и вы не увидите карту GeForce RTX 4080 Ti на его основе. Тем не менее, это инновационное решение.
В Twitter, в аккаунте Greymon55, появилось шифрованное сообщение с аббревиатурой «NHWTOS», которая через пару часов была расшифрована. Она гласит «NVIDIA's Hopper Will Tape Out Soon», то есть «NVIDIA Hopper скоро будет отпечатан».
Эта новая архитектура примечательна тем, что в ней используется мультичиповый модуль, вместо традиционного монолитного. И хотя этот процессор предназначен для суперкомпьютеров, нам он интересен по причине того, что его опыт может быть применён на поколении Lovelace или даже обновлённой версии Ampere, который планируются в 2024 и 2022 годах соответственно.
Переход от монолитной структуры GPU к мультичиповой
Мультичиповая технология в Hopper аналогична той, что использует AMD в своих центральных процессорах Zen и графических процессорах RDNA. Она изготавливает свои процессоры на TSMC, и новый чип NVIDIA также должен быть изготовлен на TSMC по 5 нм нормам. Ожидается, что чиплет из двух ядер GPU предложит в сумме 288 потоковых мультипроцессоров, что в 2,6 раза больше, чем у GPU NVIDIA A100. Кроме того, Hopper будет более энергоэффективным, чем Ampere. Считается, что его энергетическая эффективность вырастет в 3 раза.
Как обычно, к подобным слухам следует относиться с большой осторожностью и скептицизмом. Тем более, что они получены из неизвестных источников.
Группа исследователей из Национального университет современной науки из Йокогамы разработала процессор MANA (Монолитная Адиабатическая иНтеграционная Архитектура), который является сверхпроводящим микропроцессором. Даже при температуре 4,2 К он в 80 раз эффективнее передовых 7 нм FinFET полупроводников.
Процессор MANA создан из сверхпроводящего ниобия и построен из адиабатических квантово-флуктуационных параметронов (AQFP — quantum-flux-parametrons). Каждый из этих параметронов работает как переключатель на эффекте Джозефсона. Всего в прототипе MANA таких джозефсоновских стоков более 20 000.
Сверхпроводящий процессор MANA
«AQFP использовалась для построения микропроцессора, оптимизированного для адиабатических операций, таким образом энергия, вытекающая из источника питания может быть восстановлена при относительно низких частотах около 10 ГГц», — пояснил Кристофер Айала, профессор-корреспондент Национального университета Йокогамы. «Это мало, в сравнении с сотнями гигагерц в аналогичной сверхпроводящей электронике».
Представленный прототип работает на частоте 2,5 ГГц, однако в ближайшем будущем разработчики надеются поднять частоту до 5—10 ГГц. Поскольку чип требует сверхнизкой температуры 4,2 К и работает, будучи погружённым в жидкий гелий, он лучше всего приспособлен для центров обработки данных и суперкомпьютеров. Однако у разработчиков есть стратегия по использованию MANA в качестве основания для практических криосистем с высокой производительностью и высокой энергоэффективностью.
Копания Cerebras Systems и Федеральный Департамент энергии Национальной технологической лаборатории энергии анонсировали систему CS-1, которая в 10 000 раз быстрее графического процессора.
С практической стороны это означает, что задачи искусственного интеллекта, которые ранее занимали месяцы обучения, на системе Cerebras можно выполнить за минуты.
Компания Cerebras знаменита тем, что создала самый большой в мире чип WSE. Обычно производители микросхем изготавливают процессоры на большой 12” пластине, а затем разделают на отдельные чипы. Cerebras же использовала всю пластину для создания одного огромного процессора со множеством ядер и сложной системой коммутации между ними.
Компьютер CS-1
Система Cerebras CS-1 имеет высоту 26” и занимает треть стойки. В основе машины лежит тот самый процессор WSE, содержащий 1,2 триллиона транзисторов. Для сравнения, чип A100 80GB от NVIDIA содержит 54 миллиарда транзисторов. Машина CS-1 оказалась в 200 раз быстрее суперкомпьютера Joule, который занимает 82 место в рейтинге 500 быстрейших суперкомпьютеров, при том что Joule использует 16384 ядра.
Машина Cerebras стоит несколько миллионов долларов и использует 20 кВт энергии, однако в своей области она не имеет равных.
В ходе виртуальной конференции ISC (International Supercomputing Conference) High Performance 2020 компания Fujitsu сообщила, что её новый суперкомпьютер Fugaku вышел на первое место в рейтинге Top500.
Этот суперкомпьютер разрабатывался для Fujitsu Limited учёными из RIKEN, университета Кюсю и Fixstars Corporation. Эта машина с лёгкостью обошла конкурента Summit, который теперь занимает второе место. В тесте Linpack (HPL) Fugaku показал 415,5 петафлопс — в 2,8 раза больше IBM Summit. Также японский суперкомпьютер оказался быстрее в Graph 500, который оценивает систему при работе с большим потоком данных, и в ИИ-тесте HPCG, где он был в 4,6 раза быстрее конкурента. Таким образом, «впервые в истории один суперкомпьютер стал №1 в Top500, HPCG и Graph500 одновременно», — пояснила компания.
Суперкомпьютер Fugaky
Что касается аппаратной части, то суперкомпьютер Fugaku основан на специальных процессорах A64FX от ARM с расширением HPC, получившим имя SVE. Арифметический блок (512-bit SIMD) обеспечивает FP16 ИИ-ускорение. Компьютер состоит из 150 тысяч узлов с водяным охлаждением, использует шину Tofu и память HBM2.
Архитектура процессора A64FX
Всего же суперкомпьютер содержит 7,3 миллиона ядер и потребляет 28 МВт. Второй в мире суперкомпьютер Summit построен на процессорах IBM Power9 и ускорителях NVIDIA GV100, имеет в сумме 2,4 миллиона ядер и потребляет 10 МВт.
Целый ряд европейских суперкомпьютеров были остановлены после того, как в них выявлены уязвимости в системе безопасности. Эти уязвимости привели к тому, что несколько суперкомпьютеров из Великобритании, Германии, Швейцарии и, возможно, Испании, подверглись атаке.
О проблеме заявил университет Эдинбурга, с его суперкомпьютером ARCHER.
Организация bwHPC, координирующая исследовательские проекты на суперкомпьютерах в Германии, сообщила об инцидентах в области безопасности, касательно суперкомпьютеров в Университете Штутгарта, Технологическом Институте Карлсруэ, Университетах Ульма и Тюбингена, Баварской Академии Наук. Также проблемы выявлены в Швейцарском вычислительном центре Цюриха и в испанской Барселоне.
Суперкомпьютер ARCHER из университета Эдинбурга
Злоумышленники получили логины для доступа к этим суперкомпьютерам по SSH. Угнанные логины принадлежат различным университетам Польши, Канады и Китая. Затем, воспользовавшись уязвимостью CVE-2019-15666 в ядре Linux, они начали использовать суперкомпьютеры для майнинга Monero.
Отмечается, что это не первая попытка майнинга криптовалют на суперкомпьютерах. Однако ранее этим занимались сотрудники научных центров, имеющие непосредственный доступ к системам, а вот столь массированная распределённая атака проведена впервые.
Европейская организация ядерных исследований, известная по аббревиатуре CERN, усиливает вклад в борьбу с короновирусной инфекцией, пожертвовав проекту Folding@home вычислительные реусрсы.
Проект Folding@home привлекает ресурсы для симуляции динамики белков, которая поможет побороть болезнь Альцгеймера, рак, а теперь — и COVID-19.
CERN
В качестве помощи CERN делегирует 10 000 вычислительных ядер из основного центра обработки данных. При этом отмечается, что это лишь треть от всех «рабочих блоков», которые исследовательский центр передал Folding@home. Другие ресурсы были переданы непосредственно Большим адронным коллайдером. Но даже так, БАК и CERN стали лишь 87-м крупнейшим делегатом вычислительных ресурсов в проект Folding@project.
После вспышки COVID-19 производительность Folding@project выросла более чем на 1200%. Сейчас общая производительность распределённой системы превышает 2,5 экзафлопса, что делает её мощнее 500 лучших суперкомпьютеров в мире вместе взятых.
