Cerebras 揭示了 Andromeda 一个 1350 万核心的 AI 超级计算机

2022-11-15 14:37:14 编辑：陶琪彦来源：

导读制造世界上最大的芯片Wafer Scale Engine 2 (WSE-2)的公司 Cerebras 今天公布了其仙女座超级计算机。Andromeda 将 16 个晶圆大小

制造世界上最大的芯片Wafer Scale Engine 2 (WSE-2)的公司 Cerebras 今天公布了其仙女座超级计算机。Andromeda 将 16 个晶圆大小的 WSE-2 芯片组合到一个集群中，该集群具有 1350 万个 AI 优化内核，该公司称这些内核可提供高达 1 Exaflop 的 AI 计算马力，或 120 Petaflops 的 16 位半精度。

这些芯片安装在 16 个 CS-2 系统中。每个芯片为 AI 内核提供高达 12.1 TB/s 的内部带宽(96.8 Terabits)，但数据通过分布在 16 个机架中的 124 个服务器节点上的 100 GbE 网络传送到 CS-2 处理器。这些服务器总共由 284 个第三代 EPYC Milan 处理器提供支持，每个处理器拥有 64 个内核，总计 18,176 个内核。

整个系统消耗 500 KW，这比具有可比性的 GPU 加速超级计算机要低得多。然而，在这种大规模并行的超级计算机上扩展工作负载一直是主要的阻碍因素之一——在某些时候，扩展往往会崩溃，因此添加更多硬件会导致回报点迅速减少。

然而，Cerebras 表示，它的实现与 GPT 类大型语言模型(如 GPT-3、GPT-J 和 GPT-NeoX)几乎呈线性扩展。Andromeda 还可以处理标准 GPU 集群由于内存限制而无法处理的 25 亿和 250 亿参数模型。

标签：

免责声明：本文由用户上传，如有侵权请联系删除！