엔터프라이즈 스토리지 네트워킹의 진화 방식

CXL 및 NVMe-oF와 같은 고급 기술은 데이터 센터 스토리지 네트워킹의 혁신과 변화를 주도하고 있습니다.

작가 임란 히라니 | 2023년 3월 6일 | 모두, 기업, 기술

네트워킹은 처음부터 데이터 센터의 중요한 구성 요소였습니다. 시스템이 엔터프라이즈 에코시스템에서 리소스를 연결하는 방식은 시스템의 효율성과 효율성에 큰 차이를 만듭니다.

지난 10여년 동안 엔터프라이즈 데이터 센터는 클라우드, 에지 컴퓨팅, 컨테이너화, 클라우드 네이티브 컴퓨팅 등과 같은 수많은 기술 발전에 대응하여 빠르게 발전해 왔습니다. 경쟁력을 유지하기 위해 조직은 고도로 자동화되고 전체 시스템을 통해 데이터를 효율적이고 빠르게 이동할 수 있는 스마트하고 유연한 스토리지 아키텍처를 배포해야 합니다.

이 기사에서는 급속한 성장을 주도하는 두 가지 특정 요인을 살펴보겠습니다. 데이터 센터 스토리지의 진화 네트워킹:

컴퓨트 익스프레스 링크(CXL)

CXL 메모리를 서버 및 스토리지의 작업 처리에 연결하는 개방형 표준 캐시 일관성 상호 연결입니다. 그것은 현재 한동안 표준이었던 이미 빠른 PCI Express(PCIe) 상호 연결을 기반으로 합니다.

최신 PCIe 반복인 Gen5는 잠재적으로 최대 32GT/s의 속도로 CPU와 주변 장치를 연결할 수 있습니다. 그러나 PCIe에는 오늘날 데이터 액세스 속도를 방해하는 몇 가지 제한 사항이 있습니다. 이러한 제한 사항 중 하나는 분리된 메모리 저장소를 매우 효율적으로 관리하지 않는다는 것입니다. 다른 하나는 PCIe의 대기 시간이 너무 높아서 여러 장치에서 메모리를 효율적으로 공유할 수 없다는 것입니다.

이를 고려하십시오. 오늘날의 많은 서버, 특히 하이퍼스케일러 서버에는 자체 온보드 메모리와 함께 제공되는 구성 요소가 포함되어 있습니다. 호스트 프로세서에 연결된 메인 메모리 외에 스마트 NIC, GPU 및 스토리지 SSD도 있을 수 있습니다. 이러한 장치에는 종종 충분히 활용되지 않는 메모리 캐시가 있습니다. 이는 해당 시스템 전체에 많은 메모리가 유휴 상태임을 의미합니다. 사용하지 않는 모든 메모리에 수천 대의 서버를 곱하면 중요해집니다. 이러한 캐시는 일반적으로 연결할 도구가 없으면 상호 작용할 수 없습니다.

CXL은 이러한 한계를 극복합니다. 스토리지 클래스 메모리가 수많은 처리 노드를 적절하게 처리할 수 없는 문제를 해결하기 위해 부분적으로 개발된 CXL은 물리적 연결 계층과 PCIe의 전기적 구성을 활용하지만 메모리에서 데이터에 액세스할 때 대기 시간이 훨씬 짧습니다. 호스트 서버와 다른 장치 간에 캐시 일관성을 제공하므로 전체 시스템의 메모리가 액세스 가능한 단일 풀로 취급됩니다. 이러한 메모리 풀은 용량을 크게 늘릴 수 있으며 CPU 및 GPU 프로세서는 물론 컴퓨팅 스토리지 및 지능형 네트워크 인터페이스 카드(NIC)에 직접 연결할 수 있습니다.

CXL 호환 시스템이 이제 막 출시되기 시작하면서 이 기술은 플랫폼과 데이터 센터의 설계 및 실행 방식을 혁신할 수 있는 잠재력을 가지고 있습니다. 업계는 자체 메모리 및 처리 기능을 가진 각 노드의 개념에서 점진적으로 전환하여 여러 개의 GPU, CPU 및 CPU를 포함하여 전체 생태계에 서비스를 제공하는 대규모 단일 메모리 풀에서 워크로드에 리소스를 할당하는 분리된 인프라를 선호할 것입니다. 전산 저장. 이를 통해 조직은 방대한 양의 메모리 용량을 갖춘 데이터 센터를 구축할 수 있습니다.

CXL의 이점

CXL을 사용하면 조직은 더 이상 스토리지, 컴퓨팅, 메모리 및 스토리지 클래스 메모리 간의 독점 상호 연결에 국한되지 않으므로 여러 프로세서가 이전보다 더 큰 메모리 풀을 공유할 수 있습니다.

CXL은 또한 조직이 DRAM보다 더 큰 용량과 대역폭을 달성할 수 있도록 합니다. CXL 연결 장치를 사용하여 CPU 또는 GPU 호스트 프로세서에 메모리를 추가할 수 있습니다. 이는 CPU와 GPU가 DRAM 속도로 테라바이트의 스토리지에 액세스할 수 있음을 의미합니다.

스토리지와 DRAM의 대기 시간은 실제로 비교할 수 없지만(예: 각각 80마이크로초에서 0.25마이크로초) 모든 것을 DRAM으로 옮길 필요는 여전히 없습니다. CXL을 사용하면 시스템은 CPU에 내장된 기존 메모리 계층 구조를 통해 SSD에서 필요한 데이터를 가져올 수 있습니다. 즉, 파일 시스템 및 모든 관련 계층이 필요하지 않아 대기 시간이 10~20마이크로초 추가될 수 있습니다.

물론 파일 시스템은 일반적인 컴퓨팅에 중요한 역할을 하기 때문에 곧 사라지지는 않을 것입니다. 그러나 CXL을 통해 조직은 DRAM 비용의 일부만으로 컴퓨팅 기능을 강화하는 SSD 스토리지 데이터 풀을 생성할 수 있습니다. 이제 조직은 128GB DRAM에 맞는 데이터 세트로 제한되지 않고 수백 TB의 NVMe SSD 스토리지를 PCIe Gen6 속도로 실행할 수 있습니다.

CXL의 다른 이점은 다음과 같습니다.

- - 메모리 집약적인 애플리케이션을 위해 설계된 오픈 소스, 업계 표준
  - 온프레미스 및 클라우드 플랫폼 전반에서 이기종 컴퓨팅을 지원하고 리소스 활용도를 개선합니다.
  - 서버와 애플리케이션 간에 빠르고 효율적인 데이터 공유를 가능하게 하여 협업을 강화합니다.
  - 팀이 동일한 메모리 내 데이터 세트에서 동시 프로세스를 실행할 수 있습니다.

CXL 사용 사례

CXL은 전체 시스템에 걸쳐 있는 대규모 메모리 풀을 지원하기 때문에 대량의 메모리 내 데이터가 필요한 워크로드에 적합합니다. 이러한 워크로드에는 다음이 포함됩니다.

- - AI, 기계 학습 및 데이터 분석 – 딥 러닝을 위한 교육, 대화형 통합 개발 환경(IDE)
  - OLTP(온라인 트랜잭션 처리) 및 OLAP(온라인 분석 처리)
  - 미디어 및 엔터테인먼트 – 그래픽 시뮬레이션, 렌더링 및 특수 효과
  - 유전 연구 - 시퀀싱 및 어셈블리 분석
  - 전자 설계 자동화(EDA) 및 컴퓨터 지원 공학(CAE) - 모델링 및 시뮬레이션
  - 금융 서비스 애플리케이션 - 의사 결정 및 분석 지원
  - 고성능 컴퓨팅 - 모델링 및 시뮬레이션
  - 클라우드 – 커널 가상 머신(KVM)의 스냅샷, 내결함성이 없는 워크로드를 위한 임시 인스턴스

하이퍼스케일러 및 클라우드 서비스 공급자는 초고속 확장 및 프로비저닝 기능 때문에 CXL에 끌릴 가능성이 높습니다.

패브릭을 통한 NVMe(NVMe-oF)

SAN(Storage Area Network)용 전송 프로토콜은 시간이 지남에 따라 크게 발전했습니다. iSCSI, SAS(Serial Attached SCSI) 및 FCP(Fibre Channel Protocol)와 같은 HDD 기반 SAN에 연결하기 위해 다양한 프로토콜이 개발되었습니다. 이러한 프로토콜은 HDD에 충분한 성능을 제공했지만 SSD에는 충분하지 않습니다. HDD를 SSD로 교체하여 HDD 병목 현상을 제거한 후 프로토콜 자체가 병목 현상이 되었습니다. NAND 플래시 기반 스토리지는 조직이 기술의 모든 이점을 얻을 수 있도록 돕기 위해 더 많은 것이 필요했습니다.

데이터 풀의 크기가 커짐에 따라 약 100피트의 물리적 거리에 효과적인 PCIe 패브릭을 통해 항상 연결할 수는 없습니다. 그 외에도 다른 것이 필요합니다. 여기서 NVMe over Fabrics(NVMe-oF)가 등장합니다. 이 프로토콜은 호스트 서버와 솔리드 스테이트 스토리지 또는 기타 장치 간에 또는 패브릭이라고도 하는 확장된 네트워크를 통해 데이터를 전송할 수 있는 메시징 계층 역할을 합니다.

NVMe-oF는 플래시 또는 기타 SSD 스토리지를 사용하는 블록 스토리지에 이상적입니다. 파이버 채널, iWARP, InfiniBand, RDMA, RoCE(RDMA over Converged Ethernet) 및 TCP/IP의 네 가지 주요 네트워크 프로토콜에 대한 간단한 확장성 및 지원뿐만 아니라 고성능으로 짧은 대기 시간을 제공합니다. NVMe-oF는 오버헤드가 훨씬 적기 때문에 NAS(Network-Attached Storage)보다 낫습니다. 오늘날 PCIe에 비해 거리가 너무 커지면 대기 시간 관점에서 얻을 수 있는 만큼 좋습니다.

그림 1. NVMe-oF 작동 방식을 그래픽으로 표현한 것입니다. (원천: NVMExpress.org)

NVMe-oF의 이점

NVMe-oF는 DAS(직접 연결 스토리지)와 유사하게 대기 시간이 짧은 고성능 스토리지 네트워크를 생성할 수 있는 기능을 제공합니다. 이는 시스템 전체의 서버가 필요에 따라 플래시 장치를 공유할 수 있음을 의미합니다. 본질적으로 조직은 공유 또는 네트워크 스토리지의 이점과 결합된 플래시 기반 어레이의 빠른 성능을 얻을 수 있습니다.

NVMe-oF를 사용하여 조직은 서버에서 분리되고 단일 공유 풀로 관리되는 스토리지 시스템을 생성할 수 있습니다. 이는 IT 부서가 그 어느 때보다 더 세분화되고 유연하게 스토리지 리소스를 프로비저닝할 수 있음을 의미합니다.

기타 이점은 다음과 같습니다.

- - 초저지연
  - 서버 애플리케이션과 스토리지 간의 빠른 연결
  - 보다 효율적인 CPU 사용
  - 더 높은 활용률
  - 더 쉬운 관리
  - 전반적인 성능 향상
  - 추가 병렬 요청
  - 이중화 및 복원력 향상

NVMe-oF 사용 사례

NVMe-oF 프로토콜은 네트워크를 통해 스토리지에서 플래시 미디어로 데이터를 이동하는 것과 관련된 모든 사용 사례에 이상적입니다. 오늘날 많은 조직에서 AI 또는 기계 학습, 데이터 분석 및 고성능 컴퓨팅과 같이 고성능이 중요한 경우에 NVMe-oF를 사용하고 있습니다. 또한 트랜잭션 워크로드에 적합할 수도 있습니다.

Phison은 오늘날의 고급 요구 사항에 맞는 최첨단 SSD를 제공합니다.

데이터 전송 속도가 빨라짐에 따라 피손 고객에게 제공할 수 있습니다 맞춤형 PCIe Gen5 SSD 플랫폼 애플리케이션에서 최적의 성능을 발휘합니다. 실제로 Phison은 최근 업계 최초의 Gen5 SSD 중 하나를 출시했습니다. 파이손 E26, 오늘날의 크고 복잡한 워크로드에 대해 업계에서 가장 빠른 속도를 제공합니다.

또한 Phison은 최신 기술에 부합하는 SSD 솔루션을 만들고 자사 제품이 미래에 대비하고 내일의 혁신을 지원할 준비가 되도록 R&D에 지속적으로 막대한 투자를 하고 있습니다.