Wie Hyperscaler die Datenspeicherkapazitäten maximieren können

Daten werden heute in einem wahnsinnigen Tempo generiert. Im letzten Jahrzehnt ist die Geschwindigkeit der Datengenerierung exponentiell gestiegen. Es sind nicht nur Menschen, die all diese Daten erzeugen, sondern auch Software und Maschinen, die „automatisch“ Daten als Nebenprodukt künstlicher Intelligenz erzeugen. .

Es wird geschätzt, dass es bereits etwa 50 Zettabytes (ZB) sind Daten angesammelt derzeit in Speichersystemen auf der ganzen Welt – und wir sind auf dem besten Weg, bis 2025 täglich über 460 Exabyte (EB) an Daten zu generieren.

Quelle: Erzähler

Glücklicherweise haben Rechen- und Speichersysteme mit dieser Datenexplosion Schritt gehalten. Heutzutage werden weltweit riesige Datenmengen in Cloud-Systemen gespeichert und verwaltet. Und beim „Hyperscaling“ integrieren Hersteller von Cloud-Computing-Hardware die Datenverarbeitung im großen Maßstab.

Was sind Hyperscaler und was bewirken sie?

Unter Hyperscale Computing versteht man die Fähigkeit einer Architektur, sich als Reaktion auf Zunahmen und Abnahmen des Benutzerverkehrs und der Nachfrage schnell zu vergrößern oder zu verkleinern. „Hyperscaler“ sind Dienstleister mit Rechenzentrumsressourcen, die einer großen Anzahl von Kunden Rechen-, Speicher-, Speicher-, Netzwerk-, Anwendungs- und Datenbankfunktionen in Form von Cloud-Diensten anbieten. Sie betreiben typischerweise große verteilte oder Grid-Computing-Umgebungen, von denen aus sie diese Ressourcen den Knoten ihrer Kunden bereitstellen.

In alphabetischer Reihenfolge gehören Alibaba, Apple, Amazon, Facebook, Google, IBM, Microsoft und Oracle zu den größten Hyperscalern überhaupt.

Im Wesentlichen verwalten Hyperscaler die physische Infrastruktur, Betriebssysteme und umfangreiche Anwendungssoftware, während der Endbenutzer virtuelle Instanzen in Form von Software as a Service (SaaS), Platform as a Service (PaaS) oder Infrastructure as a Service (IaaS) erhält.

Hyperscaler bieten globale Unternehmensberatung und IT-Outsourcing-Lösungen für Unternehmen jeder Größe. Sie ermöglichen es Unternehmen, veraltete IT-Umgebungen in die Cloud zu migrieren und Technologie-Stacks für eine schnellere und effizientere Ausführung geschäftlicher Arbeitslasten aufzubauen und zu nutzen. Diese Technologie-Stacks können hybride Architekturen umfassen (eine Kombination aus Rechenzentren vor Ort und private, öffentliche oder hybride Cloud-Systeme), die Makro- und Microservices sowie Cloud-native Anwendungen ausführen.

Lesen Sie: Wie sich Datenwachstum auf Unternehmensspeicher auswirkt

Softwaredefinierter Speicher (SDS): Die Lösung für Hyperscale-Speicheranforderungen

Hyperscaler können Speicher nicht einfach von Speicheranbietern für Unternehmen kaufen. Die Vielfalt ihrer Anforderungen kann mit herkömmlicher Speichertechnologie nicht erfüllt werden – sie benötigen Automatisierungs-, Virtualisierungs- und Self-Service-Funktionen in einem Ausmaß, das selbst die beste Hardware nur schwer erreichen kann oder bei dem die Bestellung von Standardkomponenten zu teuer ist .

Die Lösung, die die ersten dieser Hyperscaler (Amazon, Facebook, Microsoft und Google) entwickelten, war Software Defined Storage (SDS) – eine agile, kostengünstige Infrastrukturlösung, die die Automatisierung auf die nächste Ebene brachte und es ihnen ermöglichte, große Mengen zu bewältigen Datenmengen erfolgreich verwalten.

Aber was ist ein Sicherheitsdatenblatt? Gartner definiert es als ein System, das Software von der zugrunde liegenden Speicherhardware abstrahiert und eine gemeinsame Verwaltungsplattform für Datendienste in einer heterogenen oder homogenen IT-Infrastruktur bereitstellt.

Durch die Entkopplung von Software und Hardware versuchen Hyperscaler, die Kosten zu senken – sie können Standardkomponenten verwenden, die den Industriestandards entsprechen, und diese in Rechenzentrums-Racks zusammenbauen.

Da das entscheidende Merkmal von SDS seine einheitliche Steuerungs- und Verwaltungsebene ist, priorisiert es in manchen Fällen Zuverlässigkeit und Verfügbarkeit vor Leistung. Das bedeutet, dass Hyperscaler einige ganz spezifische Fähigkeiten des Systems benötigen:

• • • Höhere E/A-Vorgänge pro Sekunde (IOPS)
    • Eine E/A-Wiederholungsrichtlinie (versuchen Sie es oder scheitern Sie schnell)
    • Geringere Tail-Latenz
    • Kontrollieren Sie das Timing von Hintergrundaufgaben, insbesondere wenn die Endlatenz ein Problem darstellt
    • Detaillierter Zugriff auf Telemetriedaten aus SSD-Analysen, z. B. die Geschwindigkeit, mit der jeder Block reagiert, Anzahl der Programme/Löschvorgänge (P/E) und Schreibverstärkungsfaktoren (WAFs).
    • Möglichkeit, Anfragen zu priorisieren, selbst wenn die SSD-Firmware die Planung übernimmt
    • Eine Abstraktionsschicht, die alle Funktionen mehrerer Anbieter in einer heterogenen Umgebung integriert
    • Sicherheitsfunktionen im gesamten System

Insgesamt bieten diese maßgeschneiderten Funktionen Hyperscalern klare Geschäftsvorteile:

• • • Niedrigere Gesamtbetriebskosten: SDS macht proprietären (kostspieligen) Speicher überflüssig. Hardware, die mit Servern nach Industriestandard funktioniert, reicht aus, was die Investitionsausgaben senkt, während niedrigere Upgrade- und Wartungskosten die Betriebsausgaben senken.
    • Verfügbarkeit: SDS kann mit einem verteilten Scale-out-Ansatz bereitgestellt werden, bei dem die Softwareschicht Redundanz erzwingt.
    • Leistung: Die Leistung kann skaliert oder verbessert werden, indem bei Bedarf leistungsstarke Einzelknoten hinzugefügt werden.
    • Ausfallsicherheit: SDS bietet eine verteilte Speicherplattform, bei der Daten gleichzeitig an mehrere Standorte geschrieben werden. Dies macht die Notfallwiederherstellung zu einem unkomplizierten Prozess – im Falle eines Ausfalls müssen Daten oder Anwendungen nicht physisch verschoben werden.
    • Flexibilität: Die Hardwareplattform kann von internen Teams einfach verwaltet und skaliert werden. Die Speicherbereitstellung ist einfach. Außerdem gibt es keine Anbieterbindung.
    • Sichtbarkeit: SDS unterstützt die meisten Speicherprotokolle, einschließlich Block, Datei und Objekt. Sie können diese innerhalb Ihrer IT-Infrastruktur konsolidieren, was zu weniger Datensilos und einer geringeren Fragmentierung führt.
    • Innovation: Da SDS branchenübliche Hardware verwendet, können sowohl die Speichergeräte als auch der Server von den Fortschritten in den Bereichen Computer, Chipsätze, Flash-Speicher und SSD-Speicher profitieren.

Während die technischen, betrieblichen und geschäftlichen Vorteile der Verwendung eines SDS für Hyperscaler klar sind, gibt es ein entscheidendes Glied, das über die gesamte Datenverarbeitungskette entscheidet: die zugrunde liegende Speicherhardware.

Lesen Sie: Um die Probleme bei der Datenspeicherung in Unternehmen zu lindern, sind maßgeschneiderte SSDs mit dem richtigen Partner erforderlich

Warum Hyperscaler SSDs als Speicher nutzen

In den letzten Jahren haben sich SSDs in Unternehmen zunehmend durchgesetzt, insbesondere bei Arbeitslasten, die eine hohe Datenverarbeitung erfordern. Hyperscaler sind genau das Richtige für Sie.

Hyperscaler beschäftigen Speicherbeschleunigungsmethoden wie Parallelisierung (Ausführung mehrerer, gleichzeitiger Datenprozesse) und Shuffling (Erhöhung des Volumens der von Anwendungen verarbeiteten Übergangsdaten), um umfangreiche Datenverarbeitungsanforderungen zu erfüllen – und diese werden alle von heutigen SSDs unterstützt.

Eine der größten Sorgen ist der Preis. Der Speicherbedarf, den Hyperscaler zur Datenverarbeitung benötigen, ist enorm. Während SSDs hinsichtlich der Grundkapazität (Kosten pro TB) immer noch teurer sind als HDDs, bieten sie einen klaren Vorteil, wenn man das Preis-Leistungs-Verhältnis berücksichtigt. SSDs bieten eine um mehrere Größenordnungen höhere E/A-Leistung beim Direktzugriff als Festplatten. Dadurch sind die Kosten pro IOPS deutlich niedriger.

Prognosen zufolge werden einige Klassen von SSDs bis 2026 auf Dollar-pro-Terabyte-Basis günstiger sein als HDDs und „Festplatten im Unternehmen überfordern“. eine Studie von Wikibon.

Quelle: Blöcke und Dateien

Während die Gesamtbetriebskosten für alle an erster Stelle stehen, sind Skalierung und Leistung für Hyperscaler im Hinblick auf höhere Speicherkapazitäten und schnellere Reaktionszeiten genauso wichtig (wenn nicht sogar noch wichtiger). Cloud-Anbieter fordern größere Festplatten als je zuvor – Anbieter haben bereits Festplatten mit mehr als 60 TB auf ihrer Roadmap. Abgesehen von Kapazität und Leistung gibt es mehrere Gründe, warum Flash-basierte SSDs zu den De-facto-Speicherlösungen für Cloud-Anbieter und andere Hyperscaler in Unternehmen werden:

• • • Ältere Festplatten sind nicht für die Verarbeitung cloudnativer Anwendungen und I/O-intensiver Datenbanken ausgelegt. Diese funktionieren am besten auf Flash-Speicher.
    • Flash-Speicher steigert die VM-Leistung und erleichtert das Verschieben von Arbeitslasten zwischen lokalen Umgebungen und der Cloud – bei geringeren (und vorhersehbaren) Leistungseinbußen.
    • SSDs sind umweltfreundlicher und verbrauchen weniger Strom als HDDs integrierte Energieverwaltungsfunktionen.

Diese Faktoren haben führende Hyperscaler dazu veranlasst, SSD-Speicher als Teil ihrer Premium-Software-, Plattform- und Infrastrukturdienste zu nutzen (und anzubieten). Zum Beispiel,

• • • AWS stellt SSD-Speicher bereit über seinen Blockspeicher EBS-, GP2- und IO1-Volumes sowie Dateispeicher FSx Windows und FSx Lustre.
    • Azure bietet Von Azure verwaltete Datenträger als Speicheroption auf Blockebene für Azure-VMs. Wie bei AWS gibt es Solid-State- und Magnetoptionen.
    • Microsoft bietet auch NetApp-Dateien, Premium-Dateien und Speicherkonten auf SSD an.
    • GCP bietet seine Prämie Lokale SSD Speicher für leistungsstarke VM-Instanzen und Persistente Festplatte für weniger anspruchsvolle Arbeitsbelastungen.

Auch wenn die Vielfalt der Optionen überwältigend ist, ist es für Hyperscaler unerlässlich, Standards für die Speicherleistung zu definieren und einzuhalten – weshalb Facebook und Microsoft bei der Entwicklung und Ratifizierung des Standards eine Partnerschaft eingegangen sind Open Compute Platform (OCP) NVMe Cloud SSD-Spezifikation. Es dient dazu, die Branche als Ganzes auszurichten und Hyperskalierungsprobleme wie Durchsatz und Latenz anzugehen. Darüber hinaus werden einheitliche, interoperable Design- und Leistungsstandards festgelegt, denen SDD-Anbieter folgen müssen.

Die OCP NVMe Cloud SSD-Spezifikation legt die Mindest- und Standardanforderungen für Cloud-Dienstanbieter für Anbieter und Hersteller fest. Dies ist eine Win-Win-Situation: Hyperscaler haben Zugriff auf eine stets elastische Lieferkette, während Speicher-OEMs genau wissen, was Hyperscaler wollen.

Ein Nebeneffekt ist die unaufhörliche Entwicklung und Weiterentwicklung von Speicher- und Speichertechnologien, die zu mehr Innovation führt. Phison erlebt dies aus erster Hand.

Lesen Sie: Phison stellt verbesserte IMAGIN+-Plattform für maßgeschneiderte NAND-Speicher und ASIC-Design-Services vor

Die SSDs von Phison fördern Skalierung und Innovation für Hyperscaler

Phison bietet anpassbare SSD-Lösungen die für Hyperscale-Computing und Workloads optimiert werden können. Mit Leistung, Leistung, Ausdauer und integrierten Analysen können anpassbare SSDs genau das liefern, was Cloud-Anwendungen und -Plattformen benötigen, um optimal zu funktionieren.

Die neue X1-Controller-basierte SSD-Plattform von Phison – angekündigt im August 2022 – liefert die branchenweiten Erwartungen fortschrittlichste SSD-Lösung für Unternehmen. Der X1 wurde entwickelt, um den strengen Anforderungen von Rechenzentrumsbetreibern, Hyperscalern und Cloud-Dienstanbietern gerecht zu werden, und bietet bei gleicher verbrauchter Energieeinheit eine Steigerung der Datenleseraten um 30% im Vergleich zu bestehenden Wettbewerbern. Diese Energieeffizienz überwindet erhebliche Engpässe im Hochleistungsrechnen (HPC) und in der KI, die beide überwiegend auf Hyperscale-Ebene eingesetzt werden.

Der X1-Controller ist ein Kraftpaket an Leistung. Es verfügt über sequentielle Lese- und Schreibgeschwindigkeiten von 7,2 GB/s bzw. 6,7 GB/s, 1,75 Millionen IOPS beim Lesen und 470.000 IOPS beim Schreiben in zufälligen 4K-Geschwindigkeiten, Kondensatoren zum Schutz vor Stromausfällen, End-to-End-Datenpfadschutz, Kryptolöschung und mehr An. Gebaut mit 128-Layer-eTLC-NAND auf der PCI Gen 4×4 NVMe 1.4-Schnittstelle und dem U.3-Formfaktor, bietet es echte Vielseitigkeit und Skalierbarkeit für Hyperscaler. Die SSD im U.3-Formfaktor ist abwärtskompatibel mit vorhandenen U.2-Backplanes und -Steckplätzen.

Darüber hinaus sind nicht alle Workloads in Hyperscale-Cloud-Umgebungen gleich – die meisten erfordern dies leseintensive SSDs mit großen Datenspeicherkapazitäten. Phison deckt mit seinem NAND-basierten Speicher ESR1710 TLC auch diese Kategorie ab. Diese anpassbare SSD-Plattform bietet einige der höchsten Rackdichten und den niedrigsten Stromverbrauch, selbst bei extrem hohen Kapazitäten von über 15 TB.

Die Datenspeicherung und -verarbeitung kann auf Hyperscaler-Ebene über Erfolg oder Misserfolg eines Geschäfts entscheiden. Wenn Hyperscaler konsequent umfangreiche Lösungen mit dynamischer Bereitstellung bereitstellen möchten, müssen sie das letzte Quäntchen Leistung aus ihrer SSD-Lösung herausholen. Speicherarrays, die mit Phison SSD-Lösungen mit hoher Geschwindigkeit und geringer Latenz aufgebaut sind, können Workloads mit einigen der größten Datenverarbeitungsanforderungen (z. B. maschinelles Lernen und Multiplayer-Gaming) problemlos bewältigen. Es versteht sich von selbst, dass Hyperscaler nirgendwo anders suchen müssen.