超大規模企業如何最大限度地提高數據存儲能力

作者安迪·希金波坦姆 | 2023 年 7 月 24 日 | 全部, 企業, 精選

如今，數據正在以瘋狂的速度生成。在過去十年中，數據生成速度呈指數級增長。不僅僅是人類創建了所有這些數據，軟件和機器也“自動”創建了數據作為人工智能的副產品。。

據估計，已經有大約 50 澤字節 (ZB) 數據積累現在世界各地的存儲系統中都存在這種情況 - 到 2025 年，我們有望每天生成超過 460 艾字節 (EB) 的數據。

值得慶幸的是，計算和存儲系統能夠跟上數據的爆炸式增長。如今，大量數據在世界各地的雲系統中存儲和管理。而“超大規模”是雲計算硬件製造商集成大規模數據處理的地方。

什麼是超大規模企業以及它們的作用是什麼？

超大規模計算是架構根據用戶流量和需求的增加或減少而快速擴展或縮小的能力。 “超大規模企業”是擁有數據中心資源的服務提供商，以雲服務的形式向大量客戶提供計算、存儲、內存、網絡、應用程序和數據庫功能。他們通常運行大型分佈式或網格計算環境，並從中向客戶的節點提供這些資源。

按字母順序排列，阿里巴巴、蘋果、亞馬遜、Facebook、谷歌、IBM、微軟和甲骨文都是最大的超大規模企業。

本質上，超大規模企業管理物理基礎設施、操作系統和大型應用軟件，而最終用戶以軟件即服務 (SaaS)、平台即服務 (PaaS) 或基礎設施即服務 (IaaS) 的形式獲得虛擬實例。

超大規模企業為各種規模的組織提供全球業務諮詢和 IT 外包解決方案。它們使企業能夠將遺留 IT 環境遷移到雲，並構建和使用技術堆棧來更快、更高效地執行業務工作負載。這些技術堆棧可以包含混合架構（本地數據中心和私有、公共或混合雲系統）運行宏和微服務以及雲原生應用程序。

軟件定義存儲 (SDS)：超大規模存儲需求的解決方案

超大規模企業不能簡單地從企業存儲供應商那裡購買存儲。傳統存儲技術無法滿足他們多樣化的需求 - 他們需要自動化、虛擬化和自助服務功能，其規模即使是最好的硬件也難以匹配，或者從現成組件訂購的成本太高。

這些超大規模企業（亞馬遜、Facebook、微軟和谷歌）首先提出的解決方案是軟件定義存儲(SDS)，這是一種敏捷、經濟高效的基礎設施解決方案，它將自動化提升到了一個新的水平，並允許他們處理大型數據。數據量成功。

但什麼是 SDS？ Gartner將其定義為一個系統，它將軟件從底層存儲硬件中抽像出來，並為跨異構或同構IT基礎設施的數據服務提供通用的管理平台。

通過將軟件與硬件解耦，超大規模企業試圖降低成本——他們能夠使用符合行業標準的商品組件並將其組裝在數據中心機架中。

由於 SDS 的定義特徵是其統一的控制和管理平面，因此在某些情況下它會優先考慮可靠性和可用性而不是性能。這意味著超大規模企業需要係統提供一些非常具體的功能：

- - 更高的每秒 I/O 操作數 (IOPS)
  - 每個 I/O 重試策略（努力嘗試或快速失敗）
  - 更低的尾部延遲
  - 控制後台任務的計時，尤其是當尾部延遲成為問題時
  - 通過 SSD 分析精細訪問遙測數據，例如每個塊的響應速度、編程/擦除 (P/E) 計數和寫入放大係數 (WAF)
  - 即使 SSD 固件進行調度，也能夠對請求進行優先級排序
  - 一個抽象層，集成了異構環境中多個供應商的所有功能
  - 整個系統的安全功能

總的來說，這些定制功能為超大規模企業提供了明顯的商業優勢：

- - 更低的 TCO：SDS 消除了對專有（讀取、昂貴）存儲的需求。與行業標準服務器配合使用的硬件就足夠了，可以降低資本支出，同時較低的升級和維護成本也可以降低運營成本。
  - 可用性：SDS 可以通過分佈式、橫向擴展的方法進行部署，其中軟件層強制冗餘。
  - 性能：可以通過按需添加強大的單個節點來擴展或提高性能。
  - 彈性：SDS 提供了一個分佈式存儲平台，數據可以同時寫入多個位置。這使得災難恢復成為一個簡單的過程——發生故障時無需物理移動數據或應用程序。
  - 靈活性：硬件平台可由內部團隊輕鬆管理和擴展。存儲配置很簡單。另外，不存在供應商鎖定。
  - 可見性：SDS支持大多數存儲協議，包括塊、文件和對象。您可以將這些內容整合到 IT 基礎設施中，從而減少數據孤島並減少碎片。
  - 創新：由於 SDS 使用行業標準硬件，因此存儲設備和服務器都可以利用計算、芯片組、閃存和 SSD 存儲方面的進步。

雖然使用 SDS 的技術、運營和業務優勢對於超大規模企業來說是顯而易見的，但有一個關鍵環節決定著整個數據處理鏈的成敗：底層存儲硬件。

為什麼超大規模企業轉向 SSD 進行存儲

在過去幾年中，SSD 在企業中越來越普遍，尤其是在涉及大量數據處理的工作負載中。超大規模服務器完全符合這個要求。

超大規模企業採用存儲加速方法例如並行化（運行多個並發數據進程）和混洗（增加應用程序處理的過渡數據量）以滿足大規模數據處理需求 - 而這些都得到了當今 SSD 的支持。

最令人擔憂的問題之一是價格。超大規模企業處理數據所需的存儲量是巨大的。雖然就基本容量（每 TB 成本）而言，SSD 仍然比 HDD 更昂貴，但當您考慮性價比時，它們具有明顯的優勢。 SSD 提供的隨機訪問 I/O 性能比 HDD 高幾個數量級。因此，每 IOPS 成本顯著降低。

預計到 2026 年，按每 TB 美元計算，某些類別的 SSD 預計將比 HDD 便宜，並且“粉碎企業中的硬盤” 維基百科的一項研究.

來源： 塊和文件

雖然 TCO 是每個人最關心的問題，但對於超大規模企業來說，規模和性能同樣重要（甚至更重要），因為更高的存儲容量和更快的響應時間。雲提供商需要比以往更大的硬盤 - 供應商的路線圖上已經有 60+TB 的硬盤。除了容量和性能之外，基於閃存的 SSD 成為雲供應商和其他企業超大規模企業事實上的存儲解決方案還有幾個原因：

- - 傳統硬盤不是為處理雲原生應用程序和 I/O 密集型數據庫而構建的；這些在閃存上表現最佳。
  - 閃存存儲可提高虛擬機性能，並更輕鬆地在本地環境和雲之間移動工作負載，同時減少（且可預測）性能損失。
  - SSD 比 HDD 更環保、耗電更少，內置電源管理功能.

這些因素促使領先的超大規模企業使用（並提供）SSD 存儲作為其優質軟件、平台和基礎設施服務的一部分。例如，

- - AWS提供SSD存儲跨其塊存儲 EBS、GP2 和 IO1 卷，以及文件存儲 FSx Windows 和 FSx Lustre。
  - Azure 提供 Azure 託管磁盤作為 Azure VM 的塊級存儲選項。與 AWS 一樣，有固態和磁性選項。
  - Microsoft 還在 SSD 上提供 NetApp 文件、高級文件和存儲帳戶。
  - GCP 提供優質服務本地SSD 高性能虛擬機實例的存儲和永久磁盤對於要求較低的工作負載。

雖然有各種各樣的選擇，但超大規模企業必須定義並遵守存儲性能標準，這就是 Facebook 和 Microsoft 合作開發和批准存儲性能標準的原因。開放計算平台 (OCP) NVMe 雲 SSD 規範。它有助於協調整個行業並解決吞吐量和延遲等超擴展問題。它還為 SDD 供應商制定了統一的、可互操作的設計和性能標準。

OCP NVMe 雲 SSD 規範為供應商和製造商提出了雲服務提供商的最低和標準要求。這是一個雙贏的局面：超大規模企業可以獲得始終彈性的供應鏈，而存儲 OEM 確切地知道超大規模企業想要什麼。

另一個好處是存儲和內存技術的不斷發展和演變，從而帶來更多創新。群聯科技對此有親身經歷。

群聯的 SSD 推動超大規模企業的規模和創新

群聯優惠可定制的SSD解決方案可以進行優化以支持超大規模計算和工作負載。憑藉性能、功耗、耐用性和內置分析功能，可定制 SSD 可以準確提供雲應用程序和平台以最佳水平運行所需的內容。

群聯全新基於 X1 控制器的 SSD 平台於 2022 年 8 月發布，提供業界最佳性能最先進的企業級SSD解決方案。 X1 專為滿足數據中心運營商、超大規模企業和雲服務提供商的嚴格要求而設計，與現有競爭對手相比，在使用相同單位電量的情況下，數據讀取量增加了 30%。這種能源效率克服了高性能計算 (HPC) 和人工智能的重大瓶頸，這兩者在超大規模層面上得到了壓倒性的使用。

X1 控制器具有強大的性能。順序讀寫速度分別為7.2 GB/s 和6.7 GB/s，隨機4K 速度下175 萬IOPS 讀取和47 萬IOPS 寫入，具有斷電保護電容、端到端數據路徑保護、加密擦除等功能。在。它在 PCI Gen 4×4 NVMe 1.4 接口和 U.3 外形尺寸上使用 128 層 eTLC NAND 構建，為超大規模企業提供真正的多功能性和可擴展性。 U.3 外形規格 SSD 向後兼容現有的 U.2 背板和插槽。

此外，超大規模雲環境中的所有工作負載並不相同——大多數都需要讀取密集型 SSD 具有大數據存儲容量。 Phison 也迎合了這一類別，推出了基於 ESR1710 TLC NAND 的存儲。這種可定制的 SSD 平台具有最高的機架密度和最低的功耗功能，甚至具有超過 15 TB 的極高容量。

數據存儲和處理可以決定超大規模企業的成敗。如果超大規模企業希望始終如一地提供具有動態配置的大規模解決方案，他們就需要充分發揮 SSD 解決方案的每一點性能。採用高速、低延遲的群聯 SSD 解決方案構建的存儲陣列可以輕鬆滿足一些最大的數據處理需求（例如機器學習和多人遊戲）的工作負載。不言而喻，超大規模企業無需尋找其他地方。

跟著我們