ハイパースケーラーがデータストレージ機能を最大限に活用する方法

Author アンディ・ヒギンボサム | 2023 年 7 月 24 日 | 全て, 企業, 特徴

現在、データは驚異的なペースで生成されています。過去 10 年間で、データ生成速度は飛躍的に増加しました。このすべてのデータを作成しているのは人間だけではなく、人工知能の副産物としてデータを「自動的に」作成するソフトウェアや機械も同様です。。

すでに約 50 ゼタバイト (ZB) のデータが存在すると推定されています。蓄積されたデータ現在、世界中のストレージシステムで使用されており、2025 年までに毎日 460 エクサバイト (EB) を超えるデータを生成する予定です。

ソース： 語り手

ありがたいことに、コンピューティングシステムとストレージシステムは、このデータの爆発的な増加に対応できています。現在、世界中で大量のデータがクラウドシステムに保存され、管理されています。そして、「ハイパースケーリング」とは、クラウドコンピューティングハードウェアのメーカーが大規模なデータ処理を統合することです。

ハイパースケーラーとは何ですか?またその機能は何ですか?

ハイパースケールコンピューティングとは、ユーザーのトラフィックと需要の増減に応じて迅速にスケールアップまたはスケールダウンできるアーキテクチャの機能です。「ハイパースケーラー」とは、データセンターリソースを備えたサービスプロバイダーであり、コンピューティング、ストレージ、メモリ、ネットワーキング、アプリケーション、データベースの機能をクラウドサービスの形で多数の顧客に提供します。通常、これらの企業は大規模な分散コンピューティング環境またはグリッドコンピューティング環境を実行し、そこからこれらのリソースを顧客のノードにプロビジョニングします。

アルファベット順に並べると、Alibaba、Apple、Amazon、Facebook、Google、IBM、Microsoft、Oracle が最大のハイパースケーラーです。

基本的に、ハイパースケーラーは物理インフラストラクチャ、オペレーティングシステム、および大規模なアプリケーションソフトウェアを管理しますが、エンドユーザーは Software as a Service (SaaS)、Platform as a Service (PaaS)、または Infrastructure as a Service (IaaS) の形式で仮想インスタンスを取得します。

ハイパースケーラーは、あらゆる規模の組織にグローバルなビジネスコンサルティングと IT アウトソーシングソリューションを提供します。これにより、企業はレガシー IT 環境をクラウドに移行し、ビジネスワークロードをより迅速かつ効率的に実行するためのテクノロジースタックを構築して使用できるようになります。これらのテクノロジースタックは、ハイブリッドアーキテクチャ (オンプレミスのデータセンターとデータセンターの組み合わせ) で構成できます。プライベート、パブリック、またはハイブリッドクラウドシステム）マクロとマイクロサービス、およびクラウドネイティブアプリケーションを実行します。

ソフトウェアデファインドストレージ (SDS): ハイパースケールストレージ要件に対するソリューション

ハイパースケーラーは、エンタープライズストレージベンダーからストレージを単純に購入することはできません。彼らのニーズの多様性は、従来のストレージテクノロジーでは満たすことができません。彼らは、最高のハードウェアでも適合するのが難しい規模の自動化、仮想化、セルフサービス機能を必要としています。あるいは、既製のコンポーネントから注文するには高価すぎるためです。。

これらのハイパースケーラー (Amazon、Facebook、Microsoft、Google) の最初に思いついたソリューションは、ソフトウェアデファインドストレージ (SDS) でした。これは、自動化を次のレベルに引き上げ、大規模なストレージの処理を可能にする、機敏でコスト効率の高いインフラストラクチャソリューションです。データボリュームが正常に動作しました。

しかし、SDSとは何でしょうか？ Gartner は、これを、基盤となるストレージハードウェアからソフトウェアを抽象化し、異種または同種の IT インフラストラクチャ全体にわたるデータサービスの共通管理プラットフォームを提供するシステムと定義しています。

ハイパースケーラーは、ソフトウェアをハードウェアから分離することでコストの削減を試みます。業界標準に準拠した汎用コンポーネントを使用して、それらをデータセンターのラックに組み立てることができます。

SDS の特徴は、統合された制御プレーンと管理プレーンであるため、場合によってはパフォーマンスよりも信頼性と可用性を優先します。これは、ハイパースケーラーにはシステムの非常に特殊な機能が必要であることを意味します。

- - 1 秒あたりの I/O オペレーション (IOPS) が向上
  - I/O ごとの再試行ポリシー (ハード試行またはフェイルファスト)
  - テールレイテンシの短縮
  - 特にテールレイテンシーが問題となる場合、バックグラウンドタスクのタイミングを制御します
  - 各ブロックの応答速度、プログラム/消去 (P/E) カウント、書き込み増幅率 (WAF) など、SSD 分析からのテレメトリへのきめ細かなアクセス
  - SSD ファームウェアがスケジューリングを行う場合でも、リクエストに優先順位を付ける機能
  - 異種環境で複数のベンダーのすべての機能を統合する抽象化レイヤー
  - システム全体にわたるセキュリティ機能

全体として、これらのカスタマイズされた機能は、ハイパースケーラーに明らかなビジネス上のメリットをもたらします。

- - TCO の削減: SDS により、独自の (読み取り用、高価な) ストレージが不要になります。業界標準のサーバーで動作するハードウェアで十分であるため、CAPEX が削減され、アップグレードとメンテナンスのコストが削減されるため、OPEX も削減されます。
  - 可用性: SDS は分散スケールアウトアプローチで展開でき、ソフトウェア層によって冗長性が確保されます。
  - パフォーマンス: オンデマンドで強力な個々のノードを追加することで、パフォーマンスを拡張または改善できます。
  - 復元力: SDS は、データが複数の場所に同時に書き込まれる分散ストレージプラットフォームを提供します。これにより、災害復旧プロセスが簡単になります。障害が発生した場合にデータやアプリケーションを物理的に移動する必要がありません。
  - 柔軟性: ハードウェアプラットフォームは、社内チームによって簡単に管理および拡張できます。ストレージのプロビジョニングは簡単です。さらに、ベンダーロックインもありません。
  - 可視性: SDS は、ブロック、ファイル、オブジェクトを含むほとんどのストレージプロトコルをサポートします。これらを IT インフラストラクチャ内で統合できるため、データのサイロ化と断片化の軽減につながります。
  - イノベーション: SDS は業界標準のハードウェアを使用しているため、ストレージデバイスとサーバーの両方でコンピューティング、チップセット、フラッシュメモリ、SSD ストレージの進歩を活用できます。

ハイパースケーラーにとって、SDS を使用する技術的、運用的、およびビジネス上の利点は明らかですが、データ処理チェーン全体の成否を分ける重要なリンクが 1 つあります。それは、基盤となるストレージハードウェアです。

ハイパースケーラーがストレージとして SSD に注目する理由

過去数年間で、SSD は企業内、特に大量のデータ処理を伴うワークロードでますます一般的になりました。ハイパースケーラーはこの要件に完全に適合します。

ハイパースケーラーが採用するのはストレージの高速化方法大規模なデータ処理要件を満たすための並列化 (複数の同時データプロセスの実行) やシャッフル (アプリケーションによって処理される遷移データの量の増加) など、これらはすべて現在の SSD でサポートされています。

最大の懸念事項の 1 つは価格です。ハイパースケーラーがデータを処理するために必要なストレージの量は膨大です。 SSD は基本容量 (TB あたりのコスト) の点では HDD よりも高価ですが、価格対パフォーマンスの比率を考慮すると明らかなメリットがあります。 SSD は、HDD よりも数桁高いランダムアクセス I/O パフォーマンスを実現します。その結果、IOPS あたりのコストが大幅に低くなります。

2026 年までに、一部のクラスの SSD はテラバイトあたりのドルベースで HDD よりも安くなり、「企業のハードドライブが壊滅状態になる」と予測されています。ウィキボンによる研究.

ソース： ブロックとファイル

TCO は誰にとっても最優先事項ですが、ハイパースケーラーにとっては、ストレージ容量の増加と応答時間の短縮という点で、スケールとパフォーマンスが同じくらい (それ以上ではないにしても) 重要です。クラウドプロバイダーは、これまで以上に大容量のハードドライブを要求しています。サプライヤーはすでに 60 TB 以上のドライブをロードマップに載せています。容量とパフォーマンス以外にも、フラッシュベースの SSD がクラウドベンダーやその他のエンタープライズハイパースケーラーにとって事実上のストレージソリューションになりつつある理由はいくつかあります。

- - 従来のハードドライブは、クラウドネイティブアプリや I/O 集中型のデータベースを処理できるようには構築されていません。これらはフラッシュストレージで最高のパフォーマンスを発揮します。
  - フラッシュストレージにより VM のパフォーマンスが向上し、オンプレミス環境とクラウド間のワークロードの移動が容易になり、パフォーマンスの低下が軽減され (予測可能) なります。
  - SSD は環境に優しく、HDD よりも消費電力が少なく、内蔵の電源管理機能.

これらの要因により、大手ハイパースケーラーはプレミアムソフトウェア、プラットフォーム、インフラストラクチャサービスの一部として SSD ストレージを使用 (および提供) するようになりました。例えば、

- - AWSがSSDストレージを提供ブロックストレージ全体にわたって EBS、GP2、IO1 ボリューム、およびファイルストレージ FSx Windows および FSx Lustre。
  - Azureが提供する Azure マネージドディスク Azure VM のブロックレベルのストレージオプションとして。 AWS と同様に、ソリッドステートと磁気のオプションがあります。
  - Microsoft は、SSD 上の NetApp ファイル、プレミアムファイル、ストレージアカウントも提供しています。
  - GCP はプレミアムを提供しますローカルSSD 高性能 VM インスタンス用のストレージと永続ディスク要求の少ないワークロード向け。

気が遠くなるようなさまざまなオプションがありますが、ハイパースケーラーにとってストレージパフォーマンス標準を定義し、それに準拠することは不可欠です。そのため、Facebook と Microsoft が提携して、オープンコンピューティングプラットフォーム (OCP) NVMe クラウド SSD 仕様。これは、業界全体の調整を図り、スループットや遅延などのハイパースケーリングの問題に対処するのに役立ちます。また、SDD ベンダーが従うべき、統一された相互運用可能な設計およびパフォーマンス標準も設定します。

OCP NVMe クラウド SSD 仕様は、ベンダーやメーカー向けに、クラウドサービスプロバイダーの最小要件と標準要件を定めています。これは双方にとって有利な状況です。ハイパースケーラーは常に弾力性のあるサプライチェーンにアクセスできますが、ストレージ OEM はハイパースケーラーが何を望んでいるのかを正確に知っています。

副次的な利点は、さらなるイノベーションにつながるストレージおよびメモリ技術の絶え間ない開発と進化です。フィソンはこれを直接経験しています。

Phison の SSD はハイパースケーラーのスケールとイノベーションを推進します

フィソンのオファーカスタマイズ可能なSSDソリューションハイパースケールコンピューティングとワークロードを強化するために最適化できます。パフォーマンス、パワー、耐久性、組み込みの分析機能を備えたカスタマイズ可能な SSD は、クラウドアプリケーションとプラットフォームが最適なレベルで動作するために必要なものを正確に提供できます。

Phison の新しい X1 コントローラーベースの SSD プラットフォーム – 2022 年 8 月に発表 – は、業界の最先端のエンタープライズ SSD ソリューション。データセンターオペレーター、ハイパースケーラー、クラウドサービスプロバイダーの厳しい要求を満たすように設計された X1 は、同じ使用電力単位で既存の競合他社と比較して 30% のデータ読み取り増加を実現します。このエネルギー効率により、ハイパースケールレベルで圧倒的に使用されるハイパフォーマンスコンピューティング (HPC) と AI の重大なボトルネックが克服されます。

X1 コントローラーは強力なパフォーマンスを発揮します。シーケンシャル読み取りおよび書き込み速度はそれぞれ 7.2 GB/秒と 6.7 GB/秒、ランダム 4K 速度での読み取り 175 万 IOPS と書き込み 470,000 IOPS、電力損失保護コンデンサ、エンドツーエンドのデータパス保護、暗号消去などを誇ります。の上。 PCI Gen 4×4 NVMe 1.4 インターフェイスおよび U.3 フォームファクター上の 128 層 eTLC NAND を使用して構築されており、ハイパースケーラーに真の多用途性と拡張性を提供します。 U.3 フォームファクター SSD は、既存の U.2 バックプレーンおよびスロットと下位互換性があります。

さらに、ハイパースケールクラウド環境のすべてのワークロードは同じではなく、ほとんどのワークロードでは読み取り集中型の SSD 大容量のデータストレージを備えています。 Phison は、ESR1710 TLC NAND ベースのストレージでこのカテゴリにも対応しています。このカスタマイズ可能な SSD プラットフォームは、15 TB を超える非常に大容量であっても、最高のラック密度と最低の電力消費機能を備えています。

データのストレージと処理は、ハイパースケーラーレベルでビジネスの成否を分ける可能性があります。動的プロビジョニングを使用して大規模なソリューションを一貫して提供したい場合、ハイパースケーラーは SSD ソリューションのパフォーマンスを最後の部分まで絞り出す必要があります。高速、低遅延の Phison SSD ソリューションで構築されたストレージアレイは、最も大きなデータ処理ニーズ (機械学習やマルチプレイヤーゲームなど) のワークロードを簡単に強化できます。言うまでもなく、ハイパースケーラーは他の場所に目を向ける必要はありません。

私たちに従ってください