超大规模企业如何最大限度地提高数据存储能力

作者安迪·希金波坦姆 | 2023 年 7 月 24 日 | 全部, 企业, 精选

如今，数据正在以疯狂的速度生成。在过去十年中，数据生成速度呈指数级增长。不仅仅是人类创建了所有这些数据，软件和机器也“自动”创建了数据作为人工智能的副产品。。

据估计，已经有大约 50 泽字节 (ZB) 数据积累现在世界各地的存储系统中都存在这种情况 - 到 2025 年，我们有望每天生成超过 460 艾字节 (EB) 的数据。

值得庆幸的是，计算和存储系统能够跟上数据的爆炸式增长。如今，大量数据在世界各地的云系统中存储和管理。 “超大规模”是云计算硬件制造商集成大规模数据处理的地方。

什么是超大规模企业以及它们的作用是什么？

超大规模计算是架构根据用户流量和需求的增加或减少而快速扩展或缩小的能力。 “超大规模企业”是拥有数据中心资源的服务提供商，以云服务的形式向大量客户提供计算、存储、内存、网络、应用程序和数据库功能。他们通常运行大型分布式或网格计算环境，并从中向客户的节点提供这些资源。

按字母顺序排列，阿里巴巴、苹果、亚马逊、Facebook、谷歌、IBM、微软和甲骨文都是最大的超大规模企业。

本质上，超大规模企业管理物理基础设施、操作系统和大型应用软件，而最终用户以软件即服务 (SaaS)、平台即服务 (PaaS) 或基础设施即服务 (IaaS) 的形式获得虚拟实例。

超大规模企业为各种规模的组织提供全球业务咨询和 IT 外包解决方案。它们使企业能够将遗留 IT 环境迁移到云，并构建和使用技术堆栈来更快、更高效地执行业务工作负载。这些技术堆栈可以包含混合架构（本地数据中心和私有、公共或混合云系统）运行宏和微服务以及云原生应用程序。

软件定义存储 (SDS)：超大规模存储需求的解决方案

超大规模企业不能简单地从企业存储供应商那里购买存储。传统存储技术无法满足他们多样化的需求 - 他们需要自动化、虚拟化和自助服务功能，其规模即使是最好的硬件也难以匹配，或者从现成组件订购的成本太高。

这些超大规模企业（亚马逊、Facebook、微软和谷歌）首先提出的解决方案是软件定义存储 (SDS)，这是一种敏捷、经济高效的基础设施解决方案，它将自动化提升到了一个新的水平，并允许他们处理大型数据。数据量成功。

但什么是 SDS？ Gartner将其定义为一个系统，它将软件从底层存储硬件中抽象出来，并为跨异构或同构IT基础设施的数据服务提供通用的管理平台。

通过将软件与硬件解耦，超大规模企业试图降低成本——他们能够使用符合行业标准的商品组件并将其组装在数据中心机架中。

由于 SDS 的定义特征是其统一的控制和管理平面，因此在某些情况下它会优先考虑可靠性和可用性而不是性能。这意味着超大规模企业需要系统提供一些非常具体的功能：

- - 更高的每秒 I/O 操作数 (IOPS)
  - 每个 I/O 重试策略（努力尝试或快速失败）
  - 更低的尾部延迟
  - 控制后台任务的计时，尤其是当尾部延迟成为问题时
  - 通过 SSD 分析精细访问遥测数据，例如每个块的响应速度、编程/擦除 (P/E) 计数和写入放大系数 (WAF)
  - 即使 SSD 固件进行调度，也能够对请求进行优先级排序
  - 一个抽象层，集成了异构环境中多个供应商的所有功能
  - 整个系统的安全功能

总的来说，这些定制功能为超大规模企业提供了明显的商业优势：

- - 更低的 TCO：SDS 消除了对专有（读取、昂贵）存储的需求。与行业标准服务器配合使用的硬件就足够了，可以降低资本支出，同时较低的升级和维护成本也可以降低运营成本。
  - 可用性：SDS 可以通过分布式、横向扩展的方法进行部署，其中软件层强制冗余。
  - 性能：可以通过按需添加强大的单个节点来扩展或提高性能。
  - 弹性：SDS 提供了一个分布式存储平台，数据可以同时写入多个位置。这使得灾难恢复成为一个简单的过程——发生故障时无需物理移动数据或应用程序。
  - 灵活性：硬件平台可由内部团队轻松管理和扩展。存储配置很简单。另外，不存在供应商锁定。
  - 可见性：SDS支持大多数存储协议，包括块、文件和对象。您可以将这些内容整合到 IT 基础设施中，从而减少数据孤岛并减少碎片。
  - 创新：由于 SDS 使用行业标准硬件，因此存储设备和服务器都可以利用计算、芯片组、闪存和 SSD 存储方面的进步。

虽然使用 SDS 的技术、运营和业务优势对于超大规模企业来说是显而易见的，但有一个关键环节决定着整个数据处理链的成败：底层存储硬件。

为什么超大规模企业转向 SSD 进行存储

在过去几年中，SSD 在企业中越来越普遍，尤其是在涉及大量数据处理的工作负载中。超大规模服务器完全符合这个要求。

超大规模企业采用存储加速方法例如并行化（运行多个并发数据进程）和混洗（增加应用程序处理的过渡数据量）以满足大规模数据处理需求 - 而这些都得到了当今 SSD 的支持。

最令人担忧的问题之一是价格。超大规模企业处理数据所需的存储量是巨大的。虽然就基本容量（每 TB 成本）而言，SSD 仍然比 HDD 更昂贵，但当您考虑性价比时，它们具有明显的优势。 SSD 提供的随机访问 I/O 性能比 HDD 高几个数量级。因此，每 IOPS 成本显着降低。

预计到 2026 年，按每 TB 美元计算，某些类别的 SSD 预计将比 HDD 便宜，并且“粉碎企业中的硬盘” 维基百科的一项研究.

来源： 块和文件

虽然 TCO 是每个人最关心的问题，但对于超大规模企业来说，规模和性能同样重要（甚至更重要），因为更高的存储容量和更快的响应时间。云提供商需要比以往更大的硬盘 - 供应商的路线图上已经有 60+TB 的硬盘。除了容量和性能之外，基于闪存的 SSD 成为云供应商和其他企业超大规模企业事实上的存储解决方案还有几个原因：

- - 传统硬盘不是为处理云原生应用程序和 I/O 密集型数据库而构建的；这些在闪存上表现最佳。
  - 闪存存储可提高虚拟机性能，并更轻松地在本地环境和云之间移动工作负载，同时减少（且可预测）性能损失。
  - SSD 比 HDD 更环保、耗电更少，内置电源管理功能.

这些因素促使领先的超大规模企业使用（并提供）SSD 存储作为其优质软件、平台和基础设施服务的一部分。例如，

- - AWS提供SSD存储跨其块存储 EBS、GP2 和 IO1 卷，以及文件存储 FSx Windows 和 FSx Lustre。
  - Azure 提供 Azure 托管磁盘作为 Azure VM 的块级存储选项。与 AWS 一样，有固态和磁性选项。
  - Microsoft 还在 SSD 上提供 NetApp 文件、高级文件和存储帐户。
  - GCP 提供优质服务本地SSD 高性能虚拟机实例的存储和永久磁盘对于要求较低的工作负载。

虽然有各种各样的选择，但超大规模企业必须定义并遵守存储性能标准，这就是 Facebook 和 Microsoft 合作开发和批准存储性能标准的原因。开放计算平台 (OCP) NVMe 云 SSD 规范。它有助于协调整个行业并解决吞吐量和延迟等超扩展问题。它还为 SDD 供应商制定了统一的、可互操作的设计和性能标准。

OCP NVMe 云 SSD 规范为供应商和制造商提出了云服务提供商的最低和标准要求。这是一个双赢的局面：超大规模企业可以获得始终弹性的供应链，而存储 OEM 确切地知道超大规模企业想要什么。

另一个好处是存储和内存技术的不断发展和演变，从而带来更多创新。群联科技对此有亲身经历。

群联的 SSD 推动超大规模企业的规模和创新

群联优惠可定制的SSD解决方案可以进行优化以支持超大规模计算和工作负载。凭借性能、功耗、耐用性和内置分析功能，可定制 SSD 可以准确提供云应用程序和平台以最佳水平运行所需的内容。

群联全新基于 X1 控制器的 SSD 平台于 2022 年 8 月发布，提供业界最佳性能最先进的企业级SSD解决方案。 X1 专为满足数据中心运营商、超大规模企业和云服务提供商的严格要求而设计，与现有竞争对手相比，在使用相同单位电量的情况下，数据读取量增加了 30%。这种能源效率克服了高性能计算 (HPC) 和人工智能的重大瓶颈，这两者在超大规模层面上得到了压倒性的使用。

X1 控制器具有强大的性能。顺序读写速度分别为 7.2 GB/s 和 6.7 GB/s，随机 4K 速度下 175 万 IOPS 读取和 47 万 IOPS 写入，具有断电保护电容、端到端数据路径保护、加密擦除等功能。在。它在 PCI Gen 4×4 NVMe 1.4 接口和 U.3 外形尺寸上使用 128 层 eTLC NAND 构建，为超大规模企业提供真正的多功能性和可扩展性。 U.3 外形规格 SSD 向后兼容现有的 U.2 背板和插槽。

此外，超大规模云环境中的所有工作负载并不相同——大多数都需要读取密集型 SSD 具有大数据存储容量。 Phison 也迎合了这一类别，推出了基于 ESR1710 TLC NAND 的存储。这种可定制的 SSD 平台具有最高的机架密度和最低的功耗功能，甚至具有超过 15 TB 的极高容量。

数据存储和处理可以决定超大规模企业的成败。如果超大规模企业想要持续提供具有动态配置的大规模解决方案，他们就需要充分发挥 SSD 解决方案的每一点性能。采用高速、低延迟的群联 SSD 解决方案构建的存储阵列可以轻松满足一些最大的数据处理需求（例如机器学习和多人游戏）的工作负载。不言而喻，超大规模企业无需寻找其他地方。

跟着我们