AI 训练、检查点和数据摄取对 QLC SSD 的要求比以往任何时候都更高,而更智能的固件则是保持耐用性和性能达标的关键。.
四层单元 (QLC) 固态硬盘已成为人工智能数据中心高容量存储的首选。单块硬盘的容量现已超过 245 TB。因此,在构建数据湖或需要将 PB 级数据放置在 GPU 附近的训练集群时,QLC 固态硬盘不容忽视。然而,规格表中容量那一栏并未体现 QLC 固态硬盘的容量优势,它被称为写入放大。.
这就是为什么降低QLC固态硬盘的写入放大效应不再仅仅是固件团队的讨论议题,而是进入了关于耐用性、性能和总体拥有成本的讨论之中。本文将探讨其成因、人工智能为何会加剧这一问题,以及您可以采取的应对措施。.
什么是写入放大,以及为什么 QLC 更容易出现写入放大现象。
写入放大倍数是指主机写入的数据量与固态硬盘 (SSD) 实际写入 NAND 闪存的数据量(已扣除垃圾回收和损耗均衡)之间的差值。如果您的应用程序写入 1 GB 数据,而硬盘最终写入 3 GB 到闪存,则写入放大倍数 (WAF) 为 3。在随机或碎片化 I/O 环境下,QLC SSD 的写入放大倍数通常高于 TLC SSD。这一点现在比以往任何时候都更加重要。AI 训练、检查点和数据摄取会产生持续不断的、通常是随机的写入操作,这些操作对 QLC 的损耗远大于其最初设计用于处理的顺序读取密集型任务。.
主机写入和NAND写入之间的差异源于闪存的工作原理。每个固态硬盘(SSD)都以页为单位写入数据,并以更大的块为单位擦除数据。当数据发生变化时,硬盘无法直接覆盖旧数据。它会将新版本写入其他位置,并将旧副本标记为无效。硬盘迟早需要回收这部分空间,方法是将仍然有效的页从块中复制出来,然后擦除该块。这种清理过程称为垃圾回收,它移动的每个页都相当于一次主机从未请求的额外写入。在大多数硬盘上,垃圾回收是写入放大效应的最大来源。.
QLC 闪存每个存储单元存储 4 位数据。这有利于提高存储密度,但也带来了一些其他方面的挑战。QLC 数据块更大,因此一个包含热数据和冷数据的混合数据块可能包含大量需要重新定位的有效页面。高容量硬盘通常也以更大的数据块进行跟踪,以控制 DRAM 的需求。一次小的随机写入操作就可能迫使硬盘读取、修改并重写这些较大的数据块。此外,许多 QLC 硬盘会在将传入数据写入 QLC 之前,先将其暂存在 SLC 缓存中,这又增加了一次写入操作。.
其次是耐用性。QLC 闪存单元的编程/擦除循环次数比 TLC 闪存单元少。TLC 硬盘的 WAF 值达到 4 就已经很烦人了。而对于 QLC 硬盘来说,WAF 值达到 4 时,硬盘的额定寿命会比主机写入次数所显示的更快地耗尽。.
为什么人工智能工作负载会使情况变得更糟
QLC 最初进入企业级应用时,主要用于处理读取密集型、顺序执行的任务,例如归档、内容库和备份目标。数据以大流量一次性写入,之后会被多次读取。由于大容量顺序写入会将数据块填充为同时老化并同时删除的数据,因此写入放大效应一直很低。.
AI 流水线的运行方式截然不同。数据摄取环节会同时从多个来源稳定地导入各种大小的文件。训练作业会对数据进行重新洗牌和预处理,并写入中间结果和日志,同时还要进行大量的读取操作。检查点机制会按计划保存模型状态,旧的检查点会在新的检查点到达时被删除。如果多个 AI 流水线运行在同一块硬盘上,或者多个作业共享一个存储池,那么传入的写入操作就会交错进行。生命周期差异很大的数据最终会被打包到同一个 NAND 闪存块中。.
对于垃圾回收而言,这是最糟糕的情况。当一个检查点被删除时,它的页面会分散在许多仍然包含活动数据的块中。硬盘必须先移动所有这些活动数据,才能擦除任何内容。因此,对于 AI 工作负载,写入放大系数可能会远高于同一硬盘在传统读取密集型部署中的情况。.
费用出现在三个地方。.
- 耐力。. 较高的 WAF 值会更快地消耗硬盘的编程/擦除预算,从而缩短其使用寿命。.
- 性能稳定性。. 垃圾回收会与主机 I/O 争用资源,因此在硬盘忙于清理时会出现延迟峰值。不可预测的尾部延迟会导致 GPU 等待数据。.
- 成本。. 过早损耗或需要额外预留空间才能保持良好状态的硬盘,会增加每可用TB的实际成本。.
控制器智能和固件如何降低写入放大
好消息是,大部分写入放大效应都来自于硬盘如何决定数据的存储位置。控制器及其固件负责做出这些决定,因此,更优的决策会带来可衡量的结果。.
工作负载感知数据放置,或灵活数据放置方法
最有效的方法是将生命周期相近的数据放在一起。如果一个数据块中的所有内容都倾向于在同一时间失效,垃圾回收机制就能找到几乎为空或完全为空的数据块,从而大大减少需要复制的内容。.
工作负载感知的数据放置可以在固态硬盘 (SSD) 内部进行,固件会检测热数据和冷数据,并将它们分别发送到不同的块。它还可以与主机共享。灵活数据放置 (FDP) 是 NVMe 规范的一部分,它允许主机为每次写入操作添加放置句柄。然后,SSD 会将相关数据(例如单个检查点或单个摄取流)路由到其自身的块集中。主机知道哪些数据应该放在一起,而驱动器则知道如何在 NAND 闪存上布局这些数据。FDP 还向下兼容,因此不使用 FDP 的应用程序也能正常工作。.
更智能的垃圾回收和磨损均衡策略
固件决定垃圾回收何时运行、清理哪些数据块以及每次清理多少数据。优秀的策略会选择有效页数最少的数据块,在可用空间不足之前在后台进行清理,并合理控制清理速度,以保持主机延迟稳定。磨损均衡技术将编程/擦除周期均匀地分布在 NAND 闪存上,而智能的实现方式则能避免不必要地频繁移动冷数据。固件还控制 SLC 缓存的大小和刷新方式,以及硬盘如何处理与其内部映射不符的小写入操作。.
为什么这日益成为一个战略问题
写入放大听起来像是一个底层细节,但实际上它直接影响着企业级存储中 QLC NAND 的经济效益。QLC 的优势在于每 TB 成本更低,每机架容量更大,从而节省电力和空间。这种优势的前提是硬盘能够达到您预算的预期使用寿命。如果您的 AI 工作负载的实际写入放大倍数 (WAF) 比预期高出三到四倍,那么您最终将不得不提前更换硬盘、增加超额配置容量,或者将写入密集型任务迁移回成本更高的 TLC 闪存。这些都会抵消 QLC 最初吸引人的成本优势。.
如果您正在评估 QLC SSD 在人工智能领域的耐用性,请直接向供应商提出以下几个问题:
- 该硬盘的DWPD(每秒写入量)是多少?它是在怎样的工作负载假设下测得的?
- 该驱动器是否支持 FDP 或其他放置机制,并且是否与我们的软件栈兼容?
- 固件如何处理小的随机写入和混合的读/写流量?
- 持续垃圾回收期间延迟会发生什么变化?
- 谁负责编写固件?固件能否针对我们的工作负载进行优化?
Pascari 如何驱动 QLC 耐久性
群联电子自主设计NAND闪存控制器并编写固件。这使得群联电子的工程师能够针对AI训练和检查点操作产生的混合型、高容量I/O,在一个统一的系统中对数据放置、垃圾回收和损耗均衡进行精细调优。控制器和固件同步开发,因此耐久性管理从一开始就融入到硬盘的工作原理中。.
您可以在我们发布的耐久性规格中看到结果。 Pascari企业级固态硬盘产品组合. 。 这 Pascari D系列 D206V, 例如,这款U.2固态硬盘将245.76TB的3D QLC NAND闪存装入单个U.2接口,额定日写入量(DWPD)为0.3次。对于这种容量的硬盘来说,在其额定寿命内,每天的写入量约为74TB。这对于读取密集型的AI数据湖和训练数据集来说,提供了充足的存储空间。.
充分利用您的硬盘
QLC固态硬盘在人工智能基础设施领域的应用将持续增长,因为其容量和密度优势实在太诱人了。写入放大效应决定了这些优势能否经受住多年的实际使用考验。人工智能工作负载会产生大量混合型、短生命周期的写入操作,而这些操作正是导致写入放大效应(WAF)上升的原因,因此控制器和固件与硬盘内部的NAND闪存同样重要。降低QLC固态硬盘的写入放大效应,关键在于智能数据放置、优化的垃圾回收机制以及对FDP等主机引导式方法的支持。.
探索如何 Pascari 企业级 SSD 结合高容量 QLC 闪存、群联电子设计的控制器和自主研发的固件,即使在严苛的 AI 工作负载下也能保持稳定的耐用性和性能。或者,, 请联系 Pascari 销售代表 今天。.
常见问题 (FAQ):
QLC SSD中的写入放大是什么?它为什么重要?
QLC SSD 中的写入放大倍数衡量的是 额外的 超出主机写入数据的NAND写入量会直接影响闪存的耐久性、存储性能和总体拥有成本。写入放大因子(WAF)为3意味着SSD每写入1GB主机数据,就会向NAND写入3GB数据。垃圾回收、损耗均衡和内部数据迁移都会造成这些影响。 额外的 写入操作。由于 QLC NAND 支持的编程/擦除周期比 TLC 少,因此控制写入放大在写入操作中起着至关重要的作用。 维护 企业级固态硬盘寿命。.
为什么 AI 工作负载会增加 QLC SSD 的写入放大?
AI 工作负载会生成混合的、碎片化的写入数据,从而增加 QLC SSD 的写入放大倍数。 频繁地 更新后的写入操作会强制控制器执行以下操作 搬迁 垃圾回收期间有效的 NAND 页。AI 训练、数据摄取、预处理和检查点操作会产生生命周期不同的数据,通常会将相关的写入操作分布在多个 NAND 块中。. 当应用程序删除临时文件或过时的检查点时,控制器必须先保留剩余的有效数据,然后才能回收存储空间。. 这 额外的 NAND 活动会加速磨损,增加延迟波动,并可能降低 AI 基础设施的存储效率。.
灵活数据放置如何降低企业级固态硬盘的写入放大效应?
灵活数据放置 (FDP) 通过允许主机应用程序将相关数据定向到指定的 NAND 放置组中,从而减少写入放大,最大限度地减少垃圾回收期间不必要的数据移动。作为……的一部分 NVMe 根据规范,FDP 使用放置句柄来帮助 SSD 控制器根据应用程序级别的数据关系组织写入操作。将检查点文件、摄取流或其他生命周期相近的数据分组,可以提高块回收效率。这种方法可以提高 QLC 的耐用性,降低垃圾回收开销,并在企业 AI 环境中支持更可预测的存储性能。.
对于人工智能工作负载,QLC SSD 的耐用性与 TLC SSD 相比如何?
QLC固态硬盘 一般提供 更高的存储密度和更低的单位成本 太字节 QLC SSD 的性能优于 TLC SSD,但其较低的编程/擦除周期耐久性使得写入放大管理对于 AI 工作负载尤为重要。TLC 通常为持续写入密集型应用提供更大的耐久性空间,而 QLC 则在读取密集型数据集和高容量存储方面具有成本优势。工作负载感知固件、高效的垃圾回收和优化的数据放置可以提高 QLC 在混合 AI 工作负载中的适用性。企业买家应该比较 DWPD 评级、实际写入放大和工作负载特性,而不是仅仅依赖于…… NAND 单独输入。.
企业在为人工智能基础设施选择QLC固态硬盘时应该评估哪些因素?
企业在评估用于人工智能基础设施的QLC固态硬盘时,应考虑工作负载特定的耐久性要求、写入放大行为、持续延迟以及控制器固件功能,而不仅仅是容量和购置成本。重要的考虑因素包括每日写入量 (DWPD) 等级、随机写入性能、垃圾回收效率以及与灵活数据放置 (Flexible Data Placement) 的兼容性。企业还应考察固态硬盘如何处理并发数据。 摄入, 培训和检查点操作。测试代表性工作负载有助于基础设施团队。 确认 耐力风险,, 决定 过度配置需求,并估算长期存储成本。.
Phison 如何通过 SSD 控制器和固件优化来降低写入放大?
群联 通过集成控制器架构和自主研发的固件,群联电子解决了写入放大问题,实现了对 NAND 数据放置、垃圾回收、损耗均衡和缓存管理的协同优化。其工程设计方法使控制器和固件团队能够根据企业工作负载特性(包括混合读写流量和 AI 检查点)调整数据传输策略。通过协同管理这些功能,群联电子可以减少不必要的 NAND 写入,提高耐用性效率,并支持更可预测的存储延迟。这种控制器级集成还为企业级 SSD 部署中的工作负载特定优化提供了机会。.
Phison Pascari 企业级 SSD 如何支持 AI 数据中心中的 QLC 耐久性?
群联 Pascari 数据中心 D 系列企业级 SSD 将高密度 NAND 存储与 群联专为支持高容量 AI 基础设施的耐久性管理而设计的控制器和固件。Pascari D206V 采用 U.2 外形尺寸,提供 245.76 TB 的 3D QLC NAND 容量,耐久性等级为 0.3 DWPD,相当于在其额定使用寿命内每天可进行约 74 TB 的主机写入。此配置支持读取密集型 AI 数据湖和训练数据集,同时帮助企业实现高容量 AI 基础设施的耐久性管理。 巩固 存储容量。工作负载特定的写入放大 遗迹 评估持续写作活动时的一个重要考虑因素。.
为什么控制器级创新对于可预测的 QLC SSD 性能至关重要?
控制器级创新通过协调垃圾回收、NAND 放置、损耗均衡和缓存管理,限制与主机 I/O 竞争的后台操作,从而帮助保持可预测的 QLC SSD 性能。. 群联 通过协同开发控制器和固件,该公司的工程师能够优化企业级固态硬盘 (SSD) 管理混合工作负载和内部 NAND 活动的方式。智能调度垃圾回收和选择性数据迁移可以减少持续运行期间的延迟峰值。这些功能在人工智能 (AI) 基础设施中至关重要,因为存储响应时间的不一致会延迟数据传输到 GPU,并影响工作负载的执行效率。.
Phison的固件技术如何支持针对特定工作负载的QLC SSD优化?
群联电子的自主固件开发支持针对特定工作负载的 QLC SSD 优化,使工程师能够根据企业应用需求调整数据放置、垃圾回收、损耗均衡和小写入处理。AI 训练、检查点和数据摄取会产生不同的写入模式和数据生命周期,从而降低统一存储管理的有效性。群联电子的集成控制器和固件工程方法通过协调的 NAND 管理策略,灵活应对这些特性。OEM 和基础架构团队可以根据其耐久性目标、延迟要求和性能指标来评估固件调优机会。 部署 工作负载。.
Phison 的 QLC SSD 架构如何帮助企业优化 AI 存储总体拥有成本?
群联 QLC SSD架构可以帮助企业 优化 通过将高容量 NAND 闪存密度与控制器级耐久性管理和固件优化相结合,降低了 AI 存储的总体拥有成本。诸如 245.76 TB Pascari D206V 之类的高密度硬盘可以减少 SSD 的数量。 必需的 对于容量密集型部署,支持存储 合并 更高效的机架 利用率. 群联电子的集成控制器和固件方案也 目标 不必要的NAND写入和性能波动会增加更换成本和过度配置成本。企业应该 证实 这些优势与实际工作负荷相比具有优势。 写 放大倍率、耐久性要求和基础设施运行条件。.








