9月3日至4日,2024开放数据中心大会(以下简称“ODCC”)在北京召开。江波龙企业级存储事业部市场总监曹浔峰受邀出席,并发表了题为《大模型AI应用对存力挑战与创新实践》的精彩演讲,深入剖析了当前算力产业的发展趋势及其创新应用,并探讨了在PTM(存储产品技术制造)商业模式下如何有效满足客户需求的问题。
ODCC 2024
PTM商业模式
企业级存储全栈定制
PTM商业模式
PTM商业模式的核心在于将公司的自研存储控制芯片、自研固件和硬件以及自有的先进封测制造等技术优势进行无缝衔接,实现更灵活、高效的全栈式定制化服务和一站式交付。
存储全栈式定制服务就像高级西装的量身定制,每一细节都经过一对一精心打造,确保每款产品方案“裁剪”出来都能贴合、匹配客户的独特需求。在提及江波龙最新提出的PTM商业模式时,曹浔峰表示,企业级存储产品作为该模式下的重要组成部分,江波龙已经成功打造了eSSD+RDIMM的全面产品矩阵,以满足大模型AI应用的
在技术领域,江波龙拥有自主研发NAND Flash芯片、主控芯片、固件和硬件的能力,并采用多颗粒类型产品布局,能够根据客户的特定技术需求提供定制化的存储解决方案。此外,江波龙汇聚了众多行业资深专家,积累了丰富的技术经验,特别是在颗粒研究、测试算法和设备开发等方面,公司能够深入分析NAND Flash和DRAM的特性,并与客户预先确认技术需求。通过建立专业、专项的FAE+AE+R&D团队,PTM商业模式能够帮助企业级客户高效实现产品创新和大幅成本优化,从而提升客户的业务竞争力。
在制造方面,江波龙通过在中山存储产业园、苏州和南美洲封装测试基地的国内、海外双循环产业链布局,实现了从存储芯片到模组产品的全链条覆盖。公司不仅保证了业内领先的企业级生产产能,还实现了高效的全站点追溯能力,如同餐厅的开放式厨房,确保每道工序都可视化、透明化,让客户对产品品质和生产流程拥有更为清晰而直观的了解。
以SATA SSD标准产品为例,如果客户对其基本性能感到满意,但需要更大容量的解决方案,并且希望在不牺牲产品特性的前提下实现成本效益,那么PTM(存储产品技术制造)合作模式将是理想选择。江波龙固件开发团队能够为客户量身定制固件,以支持大容量规格和Wafer颗粒的导入。同时,封测制造基地也将按照具体要求进行Wafer的封装,确保满足工艺规格和颗粒特性指标,为客户提供个性化且高效的存储解决方案。
通过综合措施,PTM商业模式实现了从技术到制造,再到产品的全方位支持,为客户提供全栈式服务和一站式交付。
AI存力挑战
新技术探索实践
曹浔峰在演讲中强调,随着人工智能技术的飞速发展,AI训练过程中对缓存存储容量和性能的需求日益增长。他指出,尽管AI应用日益复杂,但现有缓存硬件技术和产品的发展尚未跟上这一步伐,导致AI模型训练面临性能瓶颈。对此,曹浔峰提出了一系列创新的解决方案,旨在突破数据缓存、传输和存储的瓶颈。
在AI应用实践中,原始数据需经过精细的清洗和预处理,转化为高质量的数据集,进而通过网络传输至AI服务器的本地SSD存储,并最终upload至GPU HBM缓存中进行训练。曹浔峰指出,随着AI训练模型参数量的增长,现有HBM缓存和系统内存RDIMM容量已难以满足需求。他提出,采用高性能、大容量的CXL存储器或8x GPU卡AI服务器,将是理想的缓存优化解决方案。
江波龙正积极探索支持AIC和E3.S的JBOM系统,并结合即将到来的支持CXL2.0的服务器系统,为万卡AI训练集群提供更具成本效益的内存池化共享硬件解决方案。
曹浔峰还分享了对AI应用数据存储优化的深刻见解。他提到,AI训练应用主要涉及顺序读写操作,QLC SSD在顺序读写性能上与TLC相近,且成本更具优势。随着PCIe Gen5带宽的提升,QLC技术完全能够满足AI训练过程中Checkpoint数据存储的高带宽高并发需求,预示着QLC SSD有望成为大语言模型AI训练应用的更优选择。
在演讲的尾声,曹浔峰展望了江波龙企业级存储产品的未来发展方向,主要聚焦于扩大存储容量、提升产品性能、引入QLC NAND Flash作为资源补充的发展趋势,以满足不同客户的差异化需求,与产业链合作伙伴共同推动算力产业进步。
*上述产品数据均来源于江波龙内部测试
实际性能因设备差异,可能有所不同
精彩评论