Cerebras发布WSE-3：采用5nm工艺，4万亿个晶体管，90万个AI核心 - 超能网
source link: https://www.expreview.com/92767.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
Cerebras发布WSE-3采用5nm工艺，4万亿个晶体管，90万个AI核心
吕嘉俭发布于 2024-3-14 11:36
本文约 550 字、3 张图表，需 1 分钟阅读
Cerebras宣布，推出Wafer Scale Engine 3（WSE-3），这是世界上尺寸最大的单颗裸片，几乎等于一块12英寸晶圆。其专为训练业界最大的AI模型而打造，在相同的功耗和价格下，性能是现有最快AI芯片WSE-2的两倍。WSE-3将用于Cerebras CS-3 AI超级计算机，通过2048个节点提供高达256 exaFLOPs的计算性能。
WSE-3的主要规格：
4万亿个晶体管
900,000个AI核心
44GB的片上SRAM缓存
台积电5nm工艺制造
可选1.5TB / 12TB / 1.2PB三种内存容量
125 petaflops的峰值AI算力
可训练多达24万亿个参数的人工智能模型
可达2048个CS-3系统的集群规模
Cerebras表示，WSE-3专为满足企业和超大规模需求而构建，旨在训练比GPT-4和Gemini大10倍的下一代前沿模型，24万亿个参数模型可以存储在单个逻辑内存空间中，无需分区或重构，从而大大简化了训练工作流程，提高了开发人员的工作效率。
最新的Cerebras软件框架为PyTorch 2.0和最新的AI模型和技术提供原生支持，比如多模态模型、视觉转换器、专家混合和扩散等，仍然是唯一一个为动态和非结构化稀疏性提供原生硬件加速的平台，可以将训练速度提高8倍。
| 型号 | WSE | WSE-2 | WSE-3 | 英伟达A100 | 英伟达H100 |
|---|---|---|---|---|---|
| 晶体管数目(亿) | 12000 | 26000 | 40000 | 540 | 800 |
| 核心面积(mm2) | 46255 | 46255 | 46255 | 826 | 814 |
| 制程 | 16nm | 7nm | 5nm | 7nm | 5nm |
| AI Cores | 400000 | 850000 | 900000 | 6912 FP32 432 Tensor | 16896 FP32 528 Tensor |
| 芯片缓存容量 | 18GB | 40GB | 44GB | 40MB | 50MB |
| 缓存带宽 | 9 PB/s | 20 PB/s | 21 PB/s | 1555 GB/s | 3146 GB/s |
| 互联带宽 | 100 Pb/s | 200 Pb/s | 214 Pb/s | 600 GB/s | 900 GB/s |
| 超 能 网 制 作 |
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK