하이퍼스케일러가 데이터 스토리지 기능을 극대화하는 방법

오늘날 데이터는 엄청난 속도로 생성되고 있습니다. 지난 10년 동안 데이터 생성 속도는 기하급수적으로 증가했습니다. 이 모든 데이터를 생성하는 것은 인간뿐 아니라 인공 지능의 부산물로 데이터를 "자동으로" 생성하는 소프트웨어 및 기계입니다. .

이미 약 50제타바이트(ZB)의 데이터가 있는 것으로 추정됩니다. 축적된 데이터 현재 전 세계 스토리지 시스템에서 2025년까지 매일 460엑사바이트(EB) 이상의 데이터를 생성할 예정입니다.

원천: 이야기꾼

고맙게도 컴퓨팅 및 스토리지 시스템은 이러한 폭발적인 데이터를 따라잡았습니다. 오늘날 전 세계적으로 방대한 양의 데이터가 클라우드 시스템에 저장되고 관리되고 있습니다. 그리고 "하이퍼스케일링"은 클라우드 컴퓨팅 하드웨어 제조업체가 대규모 데이터 처리를 통합하는 곳입니다.

하이퍼스케일러란 무엇이며 어떤 역할을 합니까?

하이퍼스케일 컴퓨팅은 사용자 트래픽 및 수요의 증가 및 감소에 대응하여 빠르게 확장 또는 축소할 수 있는 아키텍처의 기능입니다. "하이퍼스케일러"는 컴퓨팅, 스토리지, 메모리, 네트워킹, 애플리케이션 및 데이터베이스 기능을 클라우드 서비스 형태로 많은 고객에게 제공하는 데이터 센터 리소스를 보유한 서비스 제공업체입니다. 일반적으로 이러한 리소스를 고객의 노드에 프로비저닝하는 대규모 분산 또는 그리드 컴퓨팅 환경을 실행합니다.

알파벳순으로 Alibaba, Apple, Amazon, Facebook, Google, IBM, Microsoft 및 Oracle은 가장 큰 하이퍼스케일러입니다.

기본적으로 하이퍼스케일러는 최종 사용자가 SaaS(Software as a Service), PaaS(Platform as a Service) 또는 IaaS(Infrastructure as a Service) 형태로 가상 인스턴스를 얻는 동안 물리적 인프라, 운영 체제 및 대규모 애플리케이션 소프트웨어를 관리합니다.

하이퍼스케일러는 모든 규모의 조직에 글로벌 비즈니스 컨설팅 및 IT 아웃소싱 솔루션을 제공합니다. 이를 통해 기업은 레거시 IT 환경을 클라우드로 마이그레이션하고 비즈니스 워크로드를 더 빠르고 효율적으로 실행하기 위해 기술 스택을 구축 및 사용할 수 있습니다. 이러한 기술 스택은 하이브리드 아키텍처(온프레미스 데이터 센터와 프라이빗, 퍼블릭 또는 하이브리드 클라우드 시스템) 매크로 및 마이크로 서비스와 클라우드 네이티브 애플리케이션을 실행합니다.

읽기: 데이터 증가가 엔터프라이즈 스토리지에 미치는 영향

소프트웨어 정의 스토리지(SDS): 하이퍼스케일 스토리지 요구 사항에 대한 솔루션

하이퍼스케일러는 단순히 엔터프라이즈 스토리지 벤더로부터 스토리지를 구매할 수 없습니다. 요구 사항의 다양성은 기존 스토리지 기술로는 충족할 수 없습니다. 최고의 하드웨어로도 대응하기 어렵거나 기성 구성 요소에서 주문하기에는 너무 비싼 규모의 자동화, 가상화 및 셀프 서비스 기능이 필요합니다. .

이러한 하이퍼스케일러(Amazon, Facebook, Microsoft 및 Google) 중 첫 번째 솔루션은 소프트웨어 정의 스토리지(SDS)였습니다. 이 솔루션은 자동화를 한 단계 끌어올리고 대규모 처리를 허용하는 민첩하고 비용 효율적인 인프라 솔루션입니다. 데이터 볼륨을 성공적으로.

그러나 SDS는 무엇입니까? Gartner는 기본 스토리지 하드웨어에서 소프트웨어를 추상화하고 이기종 또는 동종 IT 인프라 전반에 걸쳐 데이터 서비스를 위한 공통 관리 플랫폼을 제공하는 시스템으로 정의합니다.

하드웨어에서 소프트웨어를 분리함으로써 하이퍼스케일러는 비용 절감을 시도합니다. 업계 표준을 준수하는 상용 구성 요소를 사용하고 데이터 센터 랙에 조립할 수 있습니다.

SDS의 정의 기능은 통합 제어 및 관리 평면이므로 경우에 따라 성능보다 안정성과 가용성을 우선시합니다. 이는 하이퍼스케일러에 시스템의 몇 가지 매우 특정한 기능이 필요함을 의미합니다.

• • • 더 높은 IOPS(초당 I/O 작업)
    • I/O별 재시도 정책(하드 시도 또는 빠른 실패)
    • 낮은 꼬리 대기 시간
    • 특히 테일 대기 시간이 문제인 경우 백그라운드 작업에 대한 제어 타이밍
    • 모든 블록이 응답하는 속도, P/E(프로그램/지우기) 수, WAF(Write Amplification Factor)와 같은 SSD 분석의 원격 분석에 대한 세분화된 액세스
    • SSD 펌웨어가 스케줄링을 수행하는 경우에도 요청의 우선 순위를 지정하는 기능
    • 이기종 환경에서 여러 공급업체의 모든 기능을 통합하는 추상화 계층
    • 시스템 전체의 보안 기능

전체적으로 볼 때 이러한 맞춤형 기능은 하이퍼스케일러에 분명한 비즈니스 이점을 제공합니다.

• • • 낮은 TCO: SDS는 독점(읽기, 고가) 스토리지의 필요성을 없애줍니다. 산업 표준 서버와 함께 작동하는 하드웨어로 충분하여 CAPEX를 낮추고 업그레이드 및 유지 관리 비용을 낮추면 OPEX가 줄어듭니다.
    • 가용성: SDS는 소프트웨어 계층이 중복성을 적용하는 분산된 확장 접근 방식으로 배포할 수 있습니다.
    • 성능: 필요에 따라 강력한 개별 노드를 추가하여 성능을 확장하거나 개선할 수 있습니다.
    • 탄력성: SDS는 데이터가 여러 위치에 동시에 기록되는 분산 스토리지 플랫폼을 제공합니다. 따라서 재해 복구가 간단해집니다. 장애 발생 시 데이터나 애플리케이션을 물리적으로 이동할 필요가 없습니다.
    • 유연성: 하드웨어 플랫폼은 사내 팀에서 쉽게 관리하고 확장할 수 있습니다. 스토리지 프로비저닝은 간단합니다. 또한 벤더 종속이 없습니다.
    • 가시성: SDS는 블록, 파일 및 객체를 포함한 대부분의 스토리지 프로토콜을 지원합니다. 이를 IT 인프라 내에서 통합하여 데이터 사일로를 줄이고 조각화를 줄일 수 있습니다.
    • 혁신: SDS는 산업 표준 하드웨어를 사용하기 때문에 스토리지 장치와 서버 모두 컴퓨팅, 칩셋, 플래시 메모리 및 SSD 스토리지의 발전을 활용할 수 있습니다.

하이퍼스케일러에게는 SDS 사용의 기술적, 운영적, 비즈니스적 이점이 분명하지만 전체 데이터 처리 체인을 만들거나 끊는 하나의 중요한 연결 고리인 기본 스토리지 하드웨어가 있습니다.

읽기: 적합한 파트너와 함께 맞춤형 SSD를 요구하는 엔터프라이즈 데이터 스토리지 문제 완화

하이퍼스케일러가 스토리지용 SSD로 전환하는 이유

지난 몇 년 동안 SSD는 기업, 특히 많은 데이터 처리와 관련된 워크로드에서 점점 보편화되었습니다. 하이퍼스케일러는 청구서에 완벽하게 맞습니다.

하이퍼스케일러는 스토리지 가속 방법 대규모 데이터 처리 요구 사항을 충족하기 위한 병렬화(여러 동시 데이터 프로세스 실행) 및 셔플링(응용 프로그램에서 처리하는 전환 데이터의 양 증가)과 같은 이러한 기능은 현재 SSD에서 모두 지원됩니다.

가장 큰 걱정거리 중 하나는 가격이다. 하이퍼스케일러가 데이터를 처리하는 데 필요한 스토리지의 양은 엄청납니다. SSD는 여전히 기본 용량(TB당 비용) 측면에서 HDD보다 비싸지만 가격 대비 성능 비율을 고려할 때 확실한 이점을 제공합니다. SSD는 HDD보다 몇 배 더 높은 임의 액세스 I/O 성능을 제공합니다. 결과적으로 IOPS당 비용이 훨씬 낮아집니다.

2026년까지 일부 SSD 클래스는 테라바이트당 달러 기준으로 HDD보다 저렴할 것으로 예상되며 Wikibon의 연구.

원천: 블록 및 파일

TCO는 모두에게 가장 중요한 사항이지만 하이퍼스케일러에게는 더 큰 스토리지 용량과 더 빠른 응답 시간 측면에서 확장성과 성능이 중요합니다. 클라우드 공급업체는 그 어느 때보다 더 큰 하드 드라이브를 요구하고 있습니다. 공급업체는 이미 로드맵에 60TB 이상의 드라이브를 보유하고 있습니다. 용량과 성능 외에도 플래시 기반 SSD가 클라우드 공급업체 및 기타 엔터프라이즈 하이퍼스케일러를 위한 사실상의 스토리지 솔루션이 되는 몇 가지 이유가 있습니다.

• • • 레거시 하드 드라이브는 클라우드 네이티브 앱과 I/O 집약적인 데이터베이스를 처리하도록 제작되지 않았습니다. 이들은 플래시 스토리지에서 가장 잘 수행됩니다.
    • 플래시 스토리지는 VM 성능을 높이고 온프레미스 환경과 클라우드 간에 워크로드를 보다 쉽게 이동할 수 있도록 합니다. 성능 패널티는 감소하고 예측 가능합니다.
    • SSD는 환경 친화적이며 HDD보다 전력 소모가 적습니다. 내장 전원 관리 기능.

이러한 요인으로 인해 주요 하이퍼스케일러는 프리미엄 소프트웨어, 플랫폼 및 인프라 서비스의 일부로 SSD 스토리지를 사용(및 제공)하게 되었습니다. 예를 들어,

• • • AWS는 SSD 스토리지를 제공합니다 전체 블록 스토리지 EBS, GP2 및 IO1 볼륨과 파일 스토리지 FSx Windows 및 FSx Lustre.
    • Azure 제공 Azure 관리 디스크 Azure VM에 대한 블록 수준 스토리지 옵션으로. AWS와 마찬가지로 솔리드 스테이트 및 마그네틱 옵션이 있습니다.
    • Microsoft는 또한 SSD에서 NetApp 파일, 프리미엄 파일 및 스토리지 계정을 제공합니다.
    • GCP는 프리미엄을 제공합니다 로컬 SSD 고성능 VM 인스턴스용 스토리지 및 영구 디스크 덜 까다로운 워크로드용.

엄청나게 다양한 옵션이 있지만 하이퍼스케일러는 스토리지 성능 표준을 정의하고 준수해야 합니다. 이것이 바로 Facebook과 Microsoft가 협력하여 개방형 컴퓨팅 플랫폼(OCP) NVMe 클라우드 SSD 사양. 업계 전체를 조정하고 처리량 및 대기 시간과 같은 하이퍼스케일링 문제를 해결하는 역할을 합니다. 또한 SDD 공급업체가 따라야 할 통합되고 상호 운용 가능한 설계 및 성능 표준을 설정합니다.

OCP NVMe Cloud SSD 사양은 공급업체 및 제조업체를 위한 클라우드 서비스 공급자에 대한 최소 및 표준 요구 사항을 제시합니다. 이는 윈윈 상황입니다. 하이퍼스케일러는 항상 탄력적인 공급망에 액세스할 수 있는 반면 스토리지 OEM은 하이퍼스케일러가 원하는 것을 정확히 알고 있습니다.

부수적인 이점은 더 많은 혁신으로 이어지는 스토리지 및 메모리 기술의 끊임없는 개발과 진화입니다. Phison은 이것을 직접 경험합니다.

읽기: Phison, 맞춤형 NAND 스토리지, ASIC 디자인 서비스를 위한 업그레이드된 IMAGIN+ 플랫폼 소개

하이퍼스케일러를 위한 Phison의 SSD 드라이브 확장 및 혁신

Phison 제안 맞춤형 SSD 솔루션 하이퍼스케일 컴퓨팅 및 워크로드를 지원하도록 최적화할 수 있습니다. 성능, 성능, 내구성 및 내장된 분석 기능을 갖춘 맞춤형 SSD는 최적의 수준에서 작동하는 데 필요한 클라우드 애플리케이션 및 플랫폼을 정확하게 제공할 수 있습니다.

2022년 8월에 발표된 Phison의 새로운 X1 컨트롤러 기반 SSD 플랫폼은 업계의 가장 진보된 기업용 SSD 솔루션. 데이터 센터 운영자, 하이퍼스케일러 및 클라우드 서비스 제공업체의 엄격한 요구 사항을 충족하도록 설계된 X1은 사용되는 동일한 전력 단위에 대해 기존 경쟁업체보다 데이터 읽기에서 30% 증가를 제공합니다. 이러한 에너지 효율성은 하이퍼스케일 수준에서 압도적으로 사용되는 고성능 컴퓨팅(HPC) 및 AI의 상당한 병목 현상을 극복합니다.

X1 컨트롤러는 강력한 성능을 제공합니다. 각각 7.2GB/s 및 6.7GB/s의 순차 읽기 및 쓰기 속도, 임의 4K 속도에서 175만 IOPS 읽기 및 470,000 IOPS 쓰기, 정전 보호 커패시터, 종단간 데이터 경로 보호, 암호화 삭제 등을 자랑합니다. 에. PCI Gen 4×4 NVMe 1.4 인터페이스 및 U.3 폼 팩터에서 128층 eTLC NAND를 사용하여 구축되어 하이퍼스케일러를 위한 진정한 다용성과 확장성을 제공합니다. U.3 폼 팩터 SSD는 기존 U.2 백플레인 및 슬롯에서 이전 버전과 호환됩니다.

또한 하이퍼스케일 클라우드 환경의 모든 워크로드는 동일하지 않습니다. 읽기 집약적인 SSD 대용량 데이터 저장 용량. Phison은 ESR1710 TLC NAND 기반 스토리지를 통해 이 범주에도 부합합니다. 이 맞춤형 SSD 플랫폼은 15TB가 넘는 매우 높은 용량에서도 일부 최고 랙 밀도와 최저 전력 소비 기능을 제공합니다.

데이터 저장 및 처리는 하이퍼스케일러 수준에서 비즈니스를 성사시키거나 중단시킬 수 있습니다. 동적 프로비저닝으로 대규모 솔루션을 지속적으로 제공하려면 하이퍼스케일러는 SSD 솔루션에서 성능을 최대한 끌어내야 합니다. 지연 시간이 짧은 고속 Phison SSD 솔루션으로 구축된 스토리지 어레이는 가장 큰 데이터 처리 요구 사항(예: 기계 학습 및 멀티플레이어 게임)이 있는 워크로드에 쉽게 전력을 공급할 수 있습니다. 하이퍼스케일러는 다른 곳을 볼 필요가 없습니다.