全文概览
在高性能计算领域，您是否曾思考过，数据在处理器与内存之间“奔跑”的成本，何时会超越数据本身的“计算”价值？一个不容忽视的现实是，数据移动的延迟和能耗，正日益成为系统性能和效率的瓶颈，甚至超过了计算本身的开销。这正是“内存墙”效应的深刻体现。本文将深入剖析这一现象背后的技术逻辑，对比高带宽内存（HBM）与传统DDR5架构，揭示它们如何应对这一挑战，以及在追求极致性能的道路上，我们付出了怎样的能效代价。
阅读收获
01
数据运力成为关键
在高性能计算领域，一个根本性的范式转变正在发生：数据移动的成本，无论是在延迟还是能量消耗方面，已经超过了计算本身的成本。这一现象通常被称为“内存墙”或冯·诺依曼瓶颈的延伸，为理解现代内存架构的演进提供了关键背景 1。“数据移动可能会消耗超过62%的系统功耗”，这揭示了现代数据密集型系统的现状。该数据来源于对消费级设备工作负载的分析，研究发现系统总能耗平均有62.7%用于在主内存和计算单元之间移动数据 4。
这一惊人的比例促使我们必须深入探究其背后的原因，以及像高带宽内存（HBM）这样的架构是如何在尝试解决这一问题的同时，也重塑了系统功耗的构成。
这一现象并非标志着现代内存的失败，恰恰相反，它反映了其巨大的成功。它意味着对于特定类型的工作负载（数据密集性），内存带宽已不再是主要的性能限制因素；取而代之的是，数据移动这一物理过程的基本能耗成为了优化的新前沿。历史上，处理器常常因等待数据而“挨饿”，导致大量能量被浪费在停滞的CPU上 1。HBM等架构的出现，通过提供前所未有的带宽，有效地解决了这个数据供给问题 6。然而，物理定律决定了移动每一个比特的数据都存在不可避免的能量成本，主要用于为导线电容充电 8。通过实现每秒移动数据量的巨大增长，配备HBM的系统彻底改变了其内部的能量平衡。数据移动的总功率（即每比特能耗乘以比特率）在系统总功率方程中成为了主导项 5。
文章将详细剖析这一背景，首先定义“流式读取”这一关键概念，然后深入解构HBM和DDR5的架构差异，比较它们的操作原理和功耗特性，最终提供一个全面而深入的解答。
02
流式读取：高性能内存语境
在探讨技术细节之前，必须首先明确“流式”（Streaming）一词在软件和硬件领域中的不同含义。在软件层面，它通常指代像Apache Flink或Spark这样用于处理连续数据流的计算框架 9。然而，在硬件语境中，“流式读取”描述的是一种特定的内存访问模式。
在硬件层面，“流式读取”被定义为一种持续的、高吞吐量的、并且主要为顺序的内存访问模式 11。其核心特征是从内存中读取大块的、连续的或具有可预测步长的数据。这种模式是数据并行工作负载的典型特征，广泛存在于图形处理器（GPU）和人工智能（AI）加速器中，例如在AI模型训练中处理大型张量、图形渲染中的纹理映射以及科学计算模拟等场景 7。
这种访问模式不仅仅是简单的顺序读取，它还意味着工作负载能够以极高的速率产生连续的内存请求，足以使内存接口达到饱和状态。正是这种顺序访问的强度，真正定义了流式工作负载，并使其区别于普通CPU上的顺序文件读取。一个CPU从DDR5内存中顺序请求数据，仍可能受限于其64位的接口带宽。而一个典型的GPU流式工作负载则涉及数千个线程并发地请求顺序数据，产生了巨大的聚合数据需求 3。因此，在HBM的语境下，“流式读取”不仅指访问的模式（顺序），更关键的是指其带来的压力（高强度、持续的吞吐量需求）。
为了优化此类工作负载，现代处理器架构引入了非临时（Non-Temporal）内存操作的概念。在这种操作中，数据“流经”处理器的缓存，而不会替换（即“污染”）缓存中可能被再次使用的数据 14。这对于输入数据仅被读取一次、处理后短期内不再需要的工作负载至关重要，因为它避免了不必要的缓存驱逐，保护了具有高重用性的数据。
HBM的架构设计与流式/顺序访问模式之间存在着一种天然的协同关系。研究明确指出，HBM的性能优势在顺序访问和高并行度的条件下才能得到最大程度的发挥，这使其成为处理流式工作负载的理想内存技术 15。HBM正是为了应对这种高强度的流式数据压力而设计的。
03
HBM架构拆解
HBM代表了内存架构的一次革命性飞跃，其设计理念完全是为了打破传统内存的带宽瓶颈。它的核心优势源于三项紧密相关的技术创新：3D堆叠、2.5D封装以及超宽总线设计。
01
3D堆叠的垂直革命
HBM最核心的创新在于其垂直堆叠的DRAM裸片（die）结构 1。在一个HBM堆栈中，多层DRAM裸片像楼层一样被垂直堆叠起来。这些裸片之间的通信并非通过传统的引线键合，而是通过一种名为“硅通孔”（Through-Silicon Vias, TSV）的先进技术。TSV是垂直穿过硅晶片的微小导电通道，与微凸块（microbumps）一起，构成了层与层之间的高密度、短距离电气连接 17。这种垂直集成方式使得在极小的物理占位面积内实现极高的内存密度成为可能。
02
2.5D封装的集成范式
为了将HBM堆栈与主处理器（如GPU或CPU）连接起来，业界采用了2.5D封装技术 18。
03
带宽引擎：宽总线与并行通道
HBM惊人性能的源泉在于其数据传输机制。
HBM的架构选择体现了一种深思熟虑的权衡。为了获得巨大的带宽和卓越的能效，它牺牲了单个裸片的存储密度并显著增加了制造成本。例如，TSV本身会占用宝贵的硅片面积，导致HBM裸片的比特密度（每平方毫米的比特数）低于同代DDR裸片。SK海力士的HBM3比特密度为0.16 Gb/mm²，而其DDR4裸片则为0.296 Gb/mm² 22。此外，采用硅中介层的2.5D封装工艺远比制造标准PCB和DIMM复杂且昂贵 1。这种经济和工程上的选择完全是由数据密集型计算的需求驱动的。对于AI和HPC等前沿应用而言，内存带宽是首要瓶颈，其重要性远超组件成本或绝对密度 7。因此，HBM的设计是针对特定市场需求的直接架构响应，它优先考虑了那些能够最大化带宽的物理特性——邻近性、并行性和总线宽度。
04
DDR5架构拆解
与HBM的集成式设计形成鲜明对比，传统DRAM采用的是一种模块化的平面架构。在这种架构中，被称为双列直插式内存模组（DIMM）的独立电路板被安装在计算机主板的插槽上，通过较长的电气走线与CPU进行通信 25。这种处理器与内存之间的物理分离是传统架构的基本特征。
01
64位数据路径
传统DDR内存通道的基本数据传输单元是一个64位（非ECC模式下）的数据路径。这是内存控制器与单个DIMM之间进行数据交换的“高速公路”宽度，构成了整个系统内存带宽的基础 26。
02
DDR5的演进式增强
DDR5作为最新一代标准，在其传统的平面架构约束下，引入了多项重要的演进式增强，旨在提升效率和性能 29。
DDR5的架构创新，特别是双32位子通道的设计，可以被看作是在传统DIMM生态系统的严格物理和成本限制下，对HBM大规模并行理念的一种模仿。这是一个聪明的、演进式的步骤，而非革命性的变革。
市场对内存并行性的需求日益增长，以满足核心数量不断增加的CPU。HBM通过硅中介层上的超宽总线（单个HBM堆栈 1024位）提供了革命性的解决方案，但其高昂的成本限制了其应用范围 1。DDR5的设计者则选择了另一条路径：在现有的64位DIMM接口内部提升并行性。通过将64位通道拆分为两个独立的32位子通道，DDR5的内存控制器能够更有效地交错操作，其效果类似于HBM的多通道并行，但规模要小得多 29。这是一个典型的工程妥协，它在不彻底颠覆主板和插槽基础设施的前提下提升了效率，从而维持了DDR系列内存一贯的成本效益优势。这表明整个行业都认识到了提升并行性的必要性，但主流市场目前还无法承受HBM式解决方案的全部成本。
05
HBM与DDR5读取对比
综合前述的架构分析，HBM和DRAM读取方式根本区别不在于DRAM存储单元本身，而在于承载这些单元的整个系统级架构。
下表简明扼要地总结了HBM3和DDR5在关键架构指标上的巨大差异。
表1：HBM3与DDR5架构对比
01
并行性与访问粒度
两者最核心的差异可以概括为大规模并行访问与串行化访问。
02
与访问模式的协同作用
这种架构上的差异决定了它们各自与不同内存访问模式的契合度 15。
03
延迟与吞吐量的权衡
关于延迟，需要进行更细致的讨论。尽管由于接口的复杂性，HBM对于单个、孤立请求的绝对延迟可能略高于DDR 33，但这在其目标应用中基本上是无关紧要的。GPU等吞吐量导向的处理器利用大规模多线程来隐藏单个内存访问的延迟。HBM的架构目标是最大化
系统吞吐量（每秒移动的总数据量），而不是最小化单次请求延迟 6。而为延迟敏感型CPU服务的DDR5，则更优先考虑如何尽快完成一次缓存行填充。
这两种内存读取机制的根本差异，深层反映了其宿主处理器（GPU vs. CPU）计算模型的不同。
HBM的宽总线、多通道架构正是这种计算模型的物理体现，旨在并行地服务这些大规模、一致的请求。相比之下，CPU执行的是单一的复杂指令流，依赖深度流水线、分支预测和推测执行来挖掘指令级并行。在这种模型中，一次内存访问通常是关键路径上的事件，可能会导致整个流水线停顿。因此，HBM的“读取机制”是关于如何为一个由数千个简单线程组成的集体协调高带宽数据流；而DDR5的“读取机制”则是关于如何为一个强大的执行线程尽快地服务一次低延迟的、按需的请求。内存架构已成为其宿主处理器设计哲学的专业化延伸。
06
能耗分析：每比特成本
内存系统的功耗主要由三个部分组成：
下表汇总了HBM和DDR5在性能和能效方面的关键数据。
表2：HBM与DDR5性能及能效对比分析
01
定量比较（pJ/bit）
HBM在每比特能效上具有压倒性优势。研究表明，HBM2的能效约为7 pJ/bit 1。一项更详细的分解研究将HBM2的单次访问能耗精确到 3.97 pJ/bit，其中数据移动（从行缓冲到I/O引脚）占2.24 pJ/bit，行激活占1.21 pJ/bit，而I/O传输本身仅占0.3 pJ/bit 35。
与之形成鲜明对比的是，从传统DRAM主内存获取数据的系统级能耗要高出几个数量级。一项研究指出，从主存（DRAM）获取数据的成本高达16 nJ，即16,000 pJ 39。这个数字虽然包含了更广泛的系统开销，但它清晰地揭示了HBM通过物理邻近性所带来的巨大节能潜力。
Note
能量守恒定律，有限能源更大使用效率，才能带来更大生产力提升。
02
重新审视前提：综合带宽与能效
一个基于HBM的高端系统（如顶级GPU）每秒可以移动数万亿比特的数据。尽管每比特的能耗非常低，但其巨大的数据传输量使得总功率变得极其庞大。这个总功率可以轻易地超过执行计算的算术逻辑单元（ALU）的功耗，因为单次计算操作的能耗甚至更低（例如，一次浮点运算约20 pJ） 39。
冯·诺依曼架构下，当计算单元不再是瓶颈时，数据移动的物理成本便凸显出来，成为系统能耗的主导因素 5。
对每比特能耗（pJ/bit）的关注，也揭示了未来内存架构的演进方向。由于HBM通过2.5D集成已经极大地降低了外部I/O和数据传输的功耗（在3.97 pJ/bit的总成本中仅占0.3 pJ/bit），DRAM的内部功耗，特别是行激活能耗（1.21 pJ/bit），在内存自身的功耗预算中占据了更大的比例 35。GPU工作负载通常行局部性（row locality）较差，这意味着它们常常激活一整个1KB或更大的行，但实际只使用其中一小部分数据，从而浪费了大量的激活能量 35。
因此，内存效率优化的下一个前沿阵地，已不再是单纯地提升总线效率，而是要使DRAM核心本身变得更加智能和细粒度，以避免无效的内部操作。这直接催生了对细粒度DRAM（Fine-Grained DRAM）等技术的研究，这些技术旨在通过激活更小的内存行部分来进一步提升能效 35。
07
架构升级
HBM与DDR DRAM读取机制的根本差异源于它们的系统级架构：HBM是大规模并行、超宽接口和高度集成的，而DDR则是串行化、窄接口和模块化的。
更宏观地看，HBM和DDR5并非同一赛道的竞争者，而是为不同计算范式高度专业化的解决方案。
这种架构专业化的趋势正在加速。HBM的功耗特性所揭示的挑战——即即便拥有极高的效率，数据移动的绝对总量本身也构成了新的瓶颈——正驱动着未来的技术创新。为了从根本上解决数据移动的成本问题，业界正积极探索“存内计算”（Processing-in-Memory, PIM）等新兴范式，其目标是将计算单元进一步移近甚至融入存储单元，最终消除数据移动这一能耗开销 3。这预示着一个计算
与存储边界日益模糊的未来。
更多阅读
Notice：Human's prompt, Datasets by Gemini-2.5-Pro-DeepResearch
—【本文完】—
👇阅读原文，查看历史文章，推荐PC端打开 💻（更新到 8.16）。
