Cerebras推出Andromeda：拥有1350万核心的AI超级计算机 - 超能网
source link: https://www.expreview.com/85572.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
Cerebras推出Andromeda拥有1350万核心的AI超级计算机
吕嘉俭发布于 2022-11-15 11:25
本文约 540 字、3 张图表，需 1 分钟阅读
Cerebras宣布，推出Andromeda，这是一款拥有1350万核心的AI超级计算机，部署于美国加利福尼亚州圣克拉拉的数据中心，现已用于商业和学术工作。其采用了16个Cerebras CS-2系统集群构建，并利用Cerebras MemoryX和SwarmX技术简化和协调跨系统的模型拆分，以16位半精度提供超过1 Exaflop的AI计算和120 Petaflops的密集计算。
Cerebras称，Andromeda基于AMD第三代EPYC服务器处理器，以及Cerebras的Wafer Scale Engine 2构建，是唯一一台仅依靠简单数据并行性在大型语言模型工作负载上展示近乎完美的线性扩展的AI超级计算机，在GPT类大型语言模型里几乎呈线性扩展，这效率是标准GPU集群所无法比拟的。
Wafer Scale Engine 2是世界上尺寸最大的单颗裸片，面积为462.25平方厘米，几乎等于一块12英寸晶圆。其拥有850000个AI内核，2.6万亿个晶体管，配备了40GB的SRAM，提供了20 PB/s缓存带宽和220 Pb/s互联带宽，采用台积电7nm工艺制造。这些芯片将分布在16个机架的124个服务器节点上，通过100 GbE网络连接，并由284个AMD第三代EPYC服务器处理器提供支持，均为64核心128线程规格，总有18176个核心。
Andromeda整个系统的功耗为500KW，比采用GPU加速的超级计算机的功耗要低得多。这样的设计并不是完美无缺，在这种大规模并行的超级计算机上扩展工作负载长期以来都是制约其发展的因素之一，某些情况下扩展很容易会崩溃，因此添加更多硬件会导致回报迅速减少。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK