- 14,594
- 22
- 8 Ноя 2022
Чип Cerebras моделирует молекулы с «гиперзвуковой скоростью», оставив суперкомпьютер Frontier далеко позади.
Компьютерные чипы стали ценным товаром, что подтверждается тем, что Nvidia вошла в число самых дорогих компаний мира, а тайваньский производитель чипов Nvidia, TSMC, стал Для просмотра ссылки Войдиили Зарегистрируйся . Неудивительно, что все больше стартапов и уже устоявшихся компаний стремятся занять свое место на этом рынке.
Среди них выделяется Cerebras. Эта компания производит Для просмотра ссылки Войдиили Зарегистрируйся , содержащие почти миллион процессоров, каждый из которых имеет свою локальную память. Эти процессоры не требуют передачи информации к общей памяти, что делает их крайне быстрыми. Связи между процессорами, которые в большинстве суперкомпьютеров требуют соединения отдельных чипов через огромные машины, также очень быстрые.
Это делает чипы идеальными для выполнения специфических задач. Недавние исследования показали, что преимущества таких чипов могут быть значительными. В одном из исследований чипы Cerebras превзошли суперкомпьютер Для просмотра ссылки Войдиили Зарегистрируйся в моделировании молекул. Также они показали, что упрощенная модель ИИ может использовать треть энергии без потери производительности.
Молекулярная матрица
Материалы, которые используются в производстве, играют ключевую роль в развитии технологий. Они открывают новые возможности, преодолевая прежние ограничения по прочности или устойчивости к нагреву. Например, для успешного использования термоядерной энергии требуется, чтобы материалы могли выдерживать экстремальные условия.
Ученые используют суперкомпьютеры для моделирования того, как металлы, применяемые в термоядерных реакторах, справляются с теплом. Эти симуляции рассматривают отдельные атомы и используют законы физики для управления их движением и взаимодействиями в больших масштабах. Современные суперкомпьютеры могут с высокой точностью моделировать материалы, содержащие миллиарды или даже триллионы атомов.
Однако скорость таких симуляций застопорилась. Из-за особенностей конструкции суперкомпьютеров они могут моделировать ограниченное количество взаимодействий в секунду. Увеличение размеров машин только усугубляет проблему, ограничивая общую продолжительность молекулярных симуляций.
Cerebras сотрудничала с лабораториями Сандии, Лоуренса Ливермора и Лос-Аламоса, чтобы выяснить, Для просмотра ссылки Войдиили Зарегистрируйся . Команда назначила каждому процессору на чипе симулированный атом, что позволило быстро обмениваться информацией об их положении, движении и энергии. Процессоры, моделирующие атомы, находящиеся близко друг к другу в реальности, также были соседями на чипе.
Команда смоделировала 800 000 атомов в трех материалах – меди, вольфраме и тантале, которые могут быть полезны в термоядерных реакторах. Результаты оказались впечатляющими: симуляции тантала показали 179-кратное ускорение по сравнению с суперкомпьютером Frontier. Это означает, что чип может обработать год работы суперкомпьютера за несколько дней, значительно увеличив длительность симуляций с микросекунд до миллисекунд.
"Я занимаюсь атомистическим моделированием материалов более 20 лет и за это время участвовал в значительных улучшениях как в размере, так и в точности симуляций. Однако, несмотря на все это, мы не могли увеличить реальную скорость симуляций. Время, необходимое для проведения симуляций, почти не изменилось за последние 15 лет," – Для просмотра ссылки Войдиили Зарегистрируйся Айдан Томпсон из лаборатории Сандии. "С чипом Cerebras Wafer-Scale Engine мы можем внезапно двигаться с гиперзвуковой скоростью."
Хотя чип увеличивает скорость моделирования, он не может конкурировать по масштабу. Количество симулируемых атомов ограничено числом процессоров на чипе. Следующие шаги включают назначение нескольких атомов каждому процессору и использование новых суперкомпьютеров на основе ваферных чипов, объединяющих Для просмотра ссылки Войдиили Зарегистрируйся . Команда оценивает, что такие машины могут моделировать до 40 миллионов атомов тантала с аналогичной скоростью.
Облегчение для ИИ
Помимо моделирования физического мира, ваферные чипы также сосредоточены на искусственном интеллекте. Современные модели ИИ растут в геометрической прогрессии, что увеличивает стоимость и энергопотребление их обучения и эксплуатации. Ваферные чипы могут сделать ИИ более эффективным.
В отдельном Для просмотра ссылки Войдиили Зарегистрируйся ученые из Neural Magic и Cerebras работали над уменьшением размера языковой модели Llama от Meta, содержащей 7 миллиардов параметров. Для этого они создали "разреженную" модель ИИ, где многие параметры алгоритма установлены на ноль. В теории это делает алгоритм меньше, быстрее и эффективнее. Однако современные чипы ИИ, называемые графическими процессорами (GPU), Для просмотра ссылки Войди или Зарегистрируйся , что не позволяет пропускать все обнуленные параметры.
Поскольку память распределена по ваферному чипу, он может читать каждый параметр и пропускать нули в любом месте. Тем не менее, чрезвычайно разреженные модели обычно работают хуже плотных моделей. Но команда нашла способ восстановить потерянную производительность с помощью дополнительного обучения. Их модель сохранила производительность, даже при 70% обнуленных параметров. Работая на чипе Cerebras, она потребляла всего 30% энергии и выполнялась в три раза быстрее полной модели.
Победа ваферных чипов?
Несмотря на все достижения, Cerebras остается нишевым игроком. Более традиционные чипы Nvidia продолжают доминировать на рынке. Компании вложили значительные средства в экспертизу и инфраструктуру, построенную вокруг Nvidia, и в ближайшее время это вряд ли изменится.
Однако ваферные чипы могут продолжать доказывать свою ценность в нишевых, но важных приложениях в исследовательской сфере. В будущем этот подход может стать более распространенным. Способность производить ваферные чипы только сейчас достигает совершенства. В подтверждение этого, крупнейший производитель чипов в мире, TSMC, недавно объявил о расширении своих возможностей по Для просмотра ссылки Войдиили Зарегистрируйся ваферных чипов. Это может сделать такие чипы более распространенными и мощными.
Команда, стоящая за работой по моделированию молекул, считает, что влияние ваферных чипов может быть еще более драматичным. Как и графические процессоры раньше, добавление ваферных чипов в суперкомпьютеры может создать мощные машины в будущем.
"Будущая работа будет сосредоточена на расширении эффективности сильного масштабирования, продемонстрированной здесь, для развертывания на уровне объекта, что потенциально приведет к еще большему сдвигу в списке Top500 суперкомпьютеров, чем революция, вызванная GPU," – написали ученые в своей статье.
Компьютерные чипы стали ценным товаром, что подтверждается тем, что Nvidia вошла в число самых дорогих компаний мира, а тайваньский производитель чипов Nvidia, TSMC, стал Для просмотра ссылки Войди
Среди них выделяется Cerebras. Эта компания производит Для просмотра ссылки Войди
Это делает чипы идеальными для выполнения специфических задач. Недавние исследования показали, что преимущества таких чипов могут быть значительными. В одном из исследований чипы Cerebras превзошли суперкомпьютер Для просмотра ссылки Войди
Молекулярная матрица
Материалы, которые используются в производстве, играют ключевую роль в развитии технологий. Они открывают новые возможности, преодолевая прежние ограничения по прочности или устойчивости к нагреву. Например, для успешного использования термоядерной энергии требуется, чтобы материалы могли выдерживать экстремальные условия.
Ученые используют суперкомпьютеры для моделирования того, как металлы, применяемые в термоядерных реакторах, справляются с теплом. Эти симуляции рассматривают отдельные атомы и используют законы физики для управления их движением и взаимодействиями в больших масштабах. Современные суперкомпьютеры могут с высокой точностью моделировать материалы, содержащие миллиарды или даже триллионы атомов.
Однако скорость таких симуляций застопорилась. Из-за особенностей конструкции суперкомпьютеров они могут моделировать ограниченное количество взаимодействий в секунду. Увеличение размеров машин только усугубляет проблему, ограничивая общую продолжительность молекулярных симуляций.
Cerebras сотрудничала с лабораториями Сандии, Лоуренса Ливермора и Лос-Аламоса, чтобы выяснить, Для просмотра ссылки Войди
Команда смоделировала 800 000 атомов в трех материалах – меди, вольфраме и тантале, которые могут быть полезны в термоядерных реакторах. Результаты оказались впечатляющими: симуляции тантала показали 179-кратное ускорение по сравнению с суперкомпьютером Frontier. Это означает, что чип может обработать год работы суперкомпьютера за несколько дней, значительно увеличив длительность симуляций с микросекунд до миллисекунд.
"Я занимаюсь атомистическим моделированием материалов более 20 лет и за это время участвовал в значительных улучшениях как в размере, так и в точности симуляций. Однако, несмотря на все это, мы не могли увеличить реальную скорость симуляций. Время, необходимое для проведения симуляций, почти не изменилось за последние 15 лет," – Для просмотра ссылки Войди
Хотя чип увеличивает скорость моделирования, он не может конкурировать по масштабу. Количество симулируемых атомов ограничено числом процессоров на чипе. Следующие шаги включают назначение нескольких атомов каждому процессору и использование новых суперкомпьютеров на основе ваферных чипов, объединяющих Для просмотра ссылки Войди
Облегчение для ИИ
Помимо моделирования физического мира, ваферные чипы также сосредоточены на искусственном интеллекте. Современные модели ИИ растут в геометрической прогрессии, что увеличивает стоимость и энергопотребление их обучения и эксплуатации. Ваферные чипы могут сделать ИИ более эффективным.
В отдельном Для просмотра ссылки Войди
Поскольку память распределена по ваферному чипу, он может читать каждый параметр и пропускать нули в любом месте. Тем не менее, чрезвычайно разреженные модели обычно работают хуже плотных моделей. Но команда нашла способ восстановить потерянную производительность с помощью дополнительного обучения. Их модель сохранила производительность, даже при 70% обнуленных параметров. Работая на чипе Cerebras, она потребляла всего 30% энергии и выполнялась в три раза быстрее полной модели.
Победа ваферных чипов?
Несмотря на все достижения, Cerebras остается нишевым игроком. Более традиционные чипы Nvidia продолжают доминировать на рынке. Компании вложили значительные средства в экспертизу и инфраструктуру, построенную вокруг Nvidia, и в ближайшее время это вряд ли изменится.
Однако ваферные чипы могут продолжать доказывать свою ценность в нишевых, но важных приложениях в исследовательской сфере. В будущем этот подход может стать более распространенным. Способность производить ваферные чипы только сейчас достигает совершенства. В подтверждение этого, крупнейший производитель чипов в мире, TSMC, недавно объявил о расширении своих возможностей по Для просмотра ссылки Войди
Команда, стоящая за работой по моделированию молекул, считает, что влияние ваферных чипов может быть еще более драматичным. Как и графические процессоры раньше, добавление ваферных чипов в суперкомпьютеры может создать мощные машины в будущем.
"Будущая работа будет сосредоточена на расширении эффективности сильного масштабирования, продемонстрированной здесь, для развертывания на уровне объекта, что потенциально приведет к еще большему сдвигу в списке Top500 суперкомпьютеров, чем революция, вызванная GPU," – написали ученые в своей статье.
- Источник новости
- www.securitylab.ru
