英伟达11月5日发布技术解读指出，随着大模型参数规模、上下文长度和智能体应用快速增长，GPU显存正面临前所未有的压力，HBM供应趋紧、价格上升，这一趋势在可预见的未来仍将持续。为此，英伟达引入“全栈协同设计”理念，将GPU、CPU、网络、存储和软件作为一个整体协同设计，让每一字节内存在AI工厂各层级产生更高价值。
在推理过程中，昂贵的HBM既要承载模型权重，也要保存KV缓存。智能体工作流会在多次模型调用和工具调用间持续携带历史上下文，部分场景需处理多达300万个token，检索增强生成还会把企业资料加入提示词，进一步推高内存占用。英伟达将HBM比作仓库、内存带宽比作装卸口，强调若数据进出速度跟不上，就会形成“内存墙”。
其方案强调把数据压缩、放置在合适层级，并在需要前提前送回GPU。具体操作中，NVFP4低精度格式可压缩模型权重和KV缓存。英伟达称，在该思路下HBM仅增约3%，每美元智能体吞吐量最高提升30倍。
举报
