7月23日,第四范式先知AIOS 5.1版本正式发布。该版本新增GPU资源池化(vGPU)能力,实现对硬件集群平台化管理、算力资源的按需分配和快速调度,最多节省80%的硬件成本,提高GPU综合利用率多达5-10倍。
第四范式先知AIOS 5是行业大模型开发及管理平台。平台以提升企业核心竞争力为目标,在支持接入企业各类模态数据的基础上,提供大模型训练、精调等低门槛建模工具、科学家创新服务体系、北极星策略管理平台、大模型纳管平台、主流算力适配优化等能力,实现端到端的行业大模型的构建、部署、管理服务。
在行业大模型的构建过程中,为进一步提高算力资源利用率,第四范式先知AIOS 5.1版本新增GPU资源池化、虚拟化服务(vGPU)。本次新增的vGPU产品拥有五大技术亮点:
全面适配国产/非国产算力,支持混合部署与统一调度
算力和显存超分复用,算力切分精细到1%,显存切分以M兆为单位
具备千卡级别分布式调度与管理能力
支持自定义隔离策略,实现共享或独享算力池
利用多任务共享及处理优化技术,推理性能提升10倍以上。
翻译
搜索
复制
访谈
更多做行业赋能者 HID迎接数字化浪潮新机遇 破解新挑战
今年3月份,全球可信身份解决方案提供商HID发布了最新的《安防行业现状报告》(以下简称“报告”),该报告…
数字化浪潮下,安防厂商如何满足行业客户的定制化需求?
回顾近两年,受疫情因素影响,包括安防在内的诸多行业领域都遭受了来自市场 “不确定性”因素的冲击,市场…
博思高邓绍昌:乘产品创新及客户服务之舟,在市场变革中逆风飞扬
11月24日,由慧聪物联网、慧聪安防网、慧聪电子网主办的2022(第十九届)中国物联网产业大会暨品牌盛会,在深…