온프레미스 AI 추론 및 모델 학습을 간편하게: 빠른 설정, 간편한 사용, 그리고 예산에 맞춘 솔루션

Phison은 기관들이 AI 추론 및 모델 학습을 온프레미스에 배포할 때 직면하는 실질적인 문제에 초점을 맞췄습니다. 세션에서는 GPU 메모리 제약, 인프라 비용 장벽, 대규모 언어 모델을 로컬에서 실행하는 복잡성 등을 다루었습니다. Phison은 또한 다음과 같은 내용을 소개했습니다. aiDAPTIV 컨트롤러 수준의 솔루션으로서, 고가의 GPU 메모리에 대한 의존도를 줄이면서 AI 배포를 간소화하도록 설계되었습니다.

TechStrong TV는 Phison의 Tech Field Day 세션에서 엄선한 주요 내용을 편집하여 Tech Field Day Insider 웨비나 형식으로 제공했습니다. 이 형식은 가장 관련성 높은 기술적 통찰력을 압축하고 전문가 패널의 해설을 포함하여 IT 및 연구 책임자들이 전체 세션을 시청하지 않고도 아키텍처적 의미를 더 쉽게 이해할 수 있도록 합니다.

이번 웨비나에서는 Phison의 기술 분야 리더 두 명을 소개합니다.

• 브라이언 콕스, 솔루션 및 제품 마케팅 담당 이사로서, 합리적인 가격의 온프레미스 LLM 교육 및 추론 과정을 담당합니다.
• 세바스티앙 진, CTO인 그는 aiDAPTIV를 사용하여 LLM 미세 조정 및 추론을 위한 GPU 메모리 오프로드 기술에 대해 설명합니다.

온프레미스 AI는 기관이 데이터 주권을 유지하고, 규정 준수 요건을 충족하며, 민감한 연구 데이터를 보호할 수 있도록 지원합니다. 또한 장기적인 클라우드 비용을 절감하고 연구, 교육 및 내부 운영에 사용되는 AI 워크로드에 대해 예측 가능한 성능을 제공합니다.

주요 과제로는 제한된 GPU 메모리 용량, 증가하는 인프라 비용, 그리고 LLM을 로컬에 배포하고 관리하는 복잡성 등이 있습니다. 이러한 제약 조건으로 인해 기관들은 AI 이니셔티브를 시범 프로젝트 이상으로 확장하는 데 어려움을 겪는 경우가 많습니다.

피슨 aiDAPTIV 컨트롤러 레벨에서 고성능 NVMe 스토리지를 사용하여 GPU 메모리를 확장합니다. 이를 통해 추가 GPU나 특수 코딩 없이 기존 하드웨어에서 대규모 모델을 실행할 수 있으므로 로컬 AI 배포 비용 장벽을 크게 낮춥니다.

GPU 메모리 오프로드를 통해 AI 워크로드는 GPU 메모리가 포화 상태일 때 NVMe 스토리지를 투명하게 사용할 수 있습니다. 연구원과 IT 팀에게 이는 파이프라인을 재설계하거나 코드를 다시 작성하지 않고도 더 큰 모델을 학습시키거나 미세 조정할 수 있다는 것을 의미합니다.

아니요. aiDAPTIV는 시스템 및 스토리지 계층에서 작동하므로 모델 코드나 AI 프레임워크를 수정하지 않고도 AI 워크로드를 확장할 수 있습니다. 이는 기존 연구 워크플로를 사용하는 학술 연구팀에게 특히 유용합니다.

aiDAPTIV는 고가의 고성능 GPU에 대한 의존도를 줄이고 기존 하드웨어의 활용도를 높여 초기 투자 비용을 절감하고 시스템 수명을 연장합니다. 이를 통해 예산이 제한적인 기관에서도 고급 AI 워크로드를 더욱 쉽게 이용할 수 있습니다.

본 웨비나는 대규모 온프레미스 AI 배포를 위한 실질적인 청사진을 제공합니다. 비용 절감, 리소스 효율성 향상, 클라우드 종속성 없이 안전한 AI 연구 및 실험을 가능하게 하는 실질적인 통찰력을 제공합니다.