英特尔第五代至强可扩展处理器发布：AI推理性能提升42%！

12月15日下午，英特尔在中国北京召开了主题为“AI无处不在，创芯无所不及”的2023英特尔新品发布会暨AI技术创新派对，正式发布了代号为“Emerald Rapids”的面向服务器、数据中心的第五代至强可扩展处理器，相比上代至强平均性能提升了21%，能效提升了36%，AI推理性能提升了42%，总拥有成本降低了77%！

最高64核心，整体性能提升21%、AI推理性能提升42%、总拥有成本降低77%！

据介绍，第五代至强（Xeon）延续了上代的Intel 7制造工艺、Raptor Cove P-Cove架构、LGA4677封装接口，但在布局设计、部分核心规格上做了升级和增强。

首先在布局设计上，相对于第四代至强的4 Tile Die设计，64核旗舰级的第五代至强采用了2 Tile Die 设计（英特尔将其称之为XCC），这样做有几个好处，即更少的模块意味着更少的数据移动，从而可以降低功耗。不过，虽然Tile的数量更少了，但在物理面积上也更大了。通常情况下，更大的面积意味着更低的产量，但Sapphire Rapids和现在的Emerald Rapids中使用的Intel 7工艺技术在这一点上已经相当成熟。

64核旗舰级的第五代至强每个Tile都通过位于两个核心和缓存阵列之间的模块化裸片结合连接，每个Tile内拥有35个核心（其中3个是禁用的），每个Tile上还拥有2个内存控制器，支持高达5600 MT/s速度的DDR5 DIMM、3个PCIe控制器（共6个）、2个UPI（共4个）和2个加速器引擎（共4个）。

对于较低核心数量的第五代至强处理器，英特尔则继续采用单芯片结构，英特尔称之为中等核心数的芯片（MCC），最多可以有32个核心。还有一种名为EE-LCC的更小的芯片，适用于多达20个核心。

相比第四代至强来说，第五代至强核心数量由上代的最高60核提升到了64核，并且提供了高达320MB的缓存池，几乎是上代112.5MB的三倍，相当于每核心从1.875MB增至5MB。同时，第五代至强还支持更快的DDR5-5600速度，单路最大容量还是4TB，连接通道则还是80条PCIe 5.0，还支持20 GT/s（千兆传输）带宽的Intel UPI 2.0。

英特尔表示，与第四代至强相比，第五代至强CPU所能提供的平均性能提升了21%，每瓦平均性能提升36%，TCO（典型的5年刷新周期的总拥有成本）降低了77%。

在AI能力上，之前的第四代至强就有内置了AMX AI加速器，第五代至强又进一步提升了turbo频率，在某些人工智能推理负载中性能达到了四代至强的高达1.42倍，同时至强目前仍然是唯一一款拥有MLPerf训练和推理基准性能测试的通用CPU。

根据英特尔之前公布的数据显示，旗舰级第五代64核的Xeon 8592＋与前代56核第四代Xeon 8480＋相比的AI基准测试，Xeon 8592＋在AI语音识别和LAMMPS基准测试中获得了1.4倍的增益，同时在FFMPEG媒体转码工作负载中也获得了1.2倍的增益。

此外，第五代至强还能够支持运行200亿参数的大语言模型（LLM）。随着GPT-4、Meta的Llama 2和Stable Diffusion等大语言模型的兴起，英特尔也在推动其至强处理器对于相对较小规模的大模型的支持能力，对于这类工作负载，内存带宽和延迟是主要因素。虽然第五代至强没有整合HMB，但是其也有5600 MT/s DDR5的帮助，虽然速度要差一些，但是已经可以满足一些较小规模的大模型的性能需求，同时在成本上也是远低于那些高昂的AI加速卡。

英特尔表示，在使用2S 五代至强平台上运行GPT-J 6B模型（60亿参数），它可以实现在大约25毫秒下完成一个Token的处理。不过，对于运行更大的Llama 2 13B模型时，其平均需要的时间则要提升至62ms，但仍远低于100毫秒。另外，有报道显示，目前五代至强已经能够在运行200亿个参数的大模型上实现可接受的延迟。

同时，在第五代五代至强上，QAT快速助手、DLB动态负载均衡器、DSA数据流加速器、IAA存内分析加速器等也依然存在，并且都可以按需付费开启。

客户应用实例方面，IBM watsonx.data平台的网络查询吞吐量提高了2.7倍，Palo Alto Networks的基于深度学习模型的威胁检测性能提升了2倍，Gallium Studios游戏工作室Numenta AI平台的推理性能比GPU云实例提高了多达6.5倍。

拥有28款SKU

在SKU方面，英特尔第5代至强CPU仅可扩展到1S和2S系统，4S和8S配置不在产品阵容中。其中，旗舰级的Xeon Platinum 8592系列有三种版本，Xeon Platinum 8592+ 用于通用解决方案，Xeon Platinum 8592Q用于液冷和通用解决方案、Xeon Platinum 8592V用于云优化系统。该芯片共有64个内核、128个线程、高达3.90 GHz的睿频、320 MB的L3缓存和385/350/330瓦的TDP。芯片的价格大约在11000美元到12000美元之间。

第五代Xeon Gold系列SKU当中，Xeon Gold 6558Q是最快的SKU，因为它是6548Y+的液冷版本的变体。该芯片有32个内核、64个线程、高达4.1 GHz的睿频、60 MB的缓存和350W的TDP。Xeon Gold 6554S和6530仍然是Gold细分市场中仅有的缓存超过100MB（分别为180和160 MB）的SKU。阵容从8、16、24、28、32、36核不等。

第五代Xeon Silver系列，拥有五个SKU，其中Xeon Silver 4516+最强，拥有24个内核、48个线程、高达3.7 GHz的睿频、45 MB的L3缓存和185W的TDP。所有第五代Xeon Silver SKU均支持DDR5-4400，拥有8、12、16和24核。

总体来说，五代至强拥有60、56、52、48、36、32、28、24、16、8核心等不同配置，相比四代至强取消了44、40、20、18、12、10核心版本，SKU型号总数也从55款之多精简到28款。第五代至强的最高加速频率范围从1.9-4.2GHz不等来到了3.4-4.1GHz，虽然极限频率低了100MHz，但是总体大大提升，基准频率也从1.7-3.7GHz不等提高到了1.9-3.9GHz。随着性能的提升，第五代至强的整体功耗范围也提升到了150-385W，上代是115-350W。

下一代的Sierra Forest和Granite Rapids

需要指出的是，第五代至强“Emerald Rapids”系列将是为Eagle Stream平台设计的最后一款芯片，之后英特尔便会将至强产品线拆分为与竞争对手类似的注重高性能的全P核和注重高能效的全E核两条产品线。

明年上半年，英特尔将推出基于全新Intel 3制造工艺，纯E核架构的Sierra Forest，也是至强系列第一次引入E核，最多做到288核心288线程。紧随其后的是同样Intel 3制造工艺，纯P核设计的Granite Rapids，但核心数量等规格未披露，将于2024年下半年推出。

根据英特尔的预告，其未来的Granite Rapids Xeons将在“Intel 3”节点上制造，这些芯片将添加更多的内核、更高的频率、硬件加速，并支持136个PCIe通道，12个8800 MT/s MCR DIMM内存通道，内存总带宽可提高到大约845 GB/s，这将大大有助于LLM推理性能。英特尔声称其人工智能工作负载提高了2-3倍，内存吞吐量提高了2.8倍，DeepMD LAMMPS人工智能推理工作负载提升了2.9倍。