近期，云天励飞推出IPU-X6000加速卡。该产品具备256T算力、128GB显存容量、486GB/S显存带宽；采用C2C Mesh互联技术，可实现卡间高速互联，带宽达64GB/s，最大可实现64张卡的互联；可应用于语言、视觉、多模态等各类大模型的推理加速，目前已适配云天天书、通义千问、百川智能、Llama2/3等近10个主流大模型。
IPU-X6000加速卡内置全国产工艺打造的大算力芯片DeepEdge200，该芯片采用D2D Chiplet技术，是基于DeepEdge10芯片平台打造的最新成果。DeepEdge10是云天励飞于2023年底正式发布的全国产14nm Chiplet大模型推理芯片。
IPU-X6000单卡可实现130B参数量大模型推理，在执行70B参数量大模型推理时性能达11 tokens/s，有望在大模型推理领域逐步实现国产替代。
今年以来，大模型全面进入应用落地阶段，推理算力需求随之不断增长。根据IDC数据，预计到2026年中国数据中心用于推理的负载将达到62.2%。
作为国内领先的人工智能企业，云天励飞不仅持续开展芯片、大模型等关键核心技术的