데이터 저장은 생성적 AI 성공에 필수적입니다.

AI는 오늘날 비즈니스 전반에 걸쳐 활용되고 있습니다. 조립 라인의 자동 의사 결정 로봇부터 고객 서비스를 담당하는 챗봇, 에너지 분야의 즉석 피크 가격 최적화까지, AI는 모든 산업 분야에서 우리의 업무 방식과 상호 작용 방식에 어떤 영향을 미치고 있는지에 대한 이야기가 뉴스를 통해 넘쳐납니다.  

하지만 최근 큰 주목을 받고 있는 것은 바로 생성 AI라는 더욱 구체적인 분야입니다. 이는 ChatGPT, DALL-E, OpenAI의 Sora와 같은 인기 콘텐츠, 이미지, 비디오 제작 앱의 기반이 되는 기술입니다. GenAI라고도 불리는 생성 AI는 오늘날 기업을 지원하는 다른 AI 솔루션보다 비즈니스를 더욱 눈에 띄게 혁신할 잠재력을 가지고 있습니다. 단, 기업이 해당 기술이 요구하는 용량과 성능을 제공하는 적절한 데이터 스토리지를 제공할 수 있어야만 가능합니다.  

읽기: 서버실이나 집에서 간편하고 비용 효율적인 대규모 언어 모델(LLM) 미세 조정

생성적 AI란 무엇인가?

간단히 말해, 생성적 AI는 챗봇 응답, 제품 디자인, 광고 자료, 이미지 또는 비디오 영상 등 완전히 새로운 콘텐츠를 생성하는 AI입니다. 윤리적으로 모호한 딥페이크를 만드는 것은 AI이지만, 이력서나 온라인 프로필과 같은 서면 응답이나 콘텐츠를 자동화하고, 혁신적인 약물 화합물을 추천하고, 전자 칩 설계를 최적화하고, 특정 스타일의 음악이나 소설을 쓰고, 영화의 더빙을 더욱 정확하게 만들고, 요청된 스타일로 새로운 예술 작품을 만들고, 특정 매개변수를 기반으로 건축 디자인을 만드는 등 다양한 용도로 활용될 수 있습니다.   

생성적 AI는 다음과 같은 구성 요소에 의존한다는 점에서 다른 유형의 AI와 다릅니다.   

대규모 언어 모델(LLM)

LLM은 텍스트를 처리, 요약 및 생성하는 프로그램입니다. 수조 개의 매개변수를 포함하는 방대한 데이터 세트를 기반으로 학습되며, 텍스트와 맥락을 이해하는 법을 학습할 수 있습니다. LLM은 생성 AI 모델의 콘텐츠 제작 능력을 크게 향상시키는 데 핵심적인 역할을 해왔습니다. 예를 들어 텍스트를 이미지나 비디오로 변환할 수 있을 뿐만 아니라 이미지에 자동으로 캡션을 추가할 수도 있습니다. 

생성적 적대 네트워크(GAN)

GAN은 눈에 띄게 인위적인 출력을 식별하기 위해 지속적으로 서로 경쟁하는 두 개의 신경망으로 구성됩니다. 한 신경망은 생성기(generator)이고 다른 신경망은 판별기(discriminator)입니다. 생성기는 정확해 보이지만 거짓이거나 부정확한 출력을 생성하도록 프로그래밍되어 있으며, 판별기는 어떤 출력이 거짓인지 식별하는 역할을 합니다. 사람의 감독 없이 진행되는 이 과정을 통해 생성기는 사실적인 콘텐츠를 생성하는 능력이 향상되고 판별기는 이를 감지하는 능력이 향상됩니다. 시간이 지남에 따라 생성된 콘텐츠는 판별기가 더 이상 부정확한 콘텐츠를 감지할 수 없을 때까지 점점 더 사실적으로 변합니다.  

변압기

이러한 유형의 신경망은 매우 큰 학습 모델이 사전에 레이블을 지정할 필요가 없는 방대한 양의 데이터를 분석할 수 있도록 합니다. 즉, AI 알고리즘은 수백만 또는 수십억 개의 텍스트 기반 페이지를 분석하여 모델에 더 심층적인 "지식"을 제공할 수 있습니다. 변환기를 사용하면 모델이 콘텐츠에서 단어 간의 연결을 식별하고 이해할 수 있습니다. 예를 들어 책의 개별 문장 간의 맥락을 이해하는 것과 같습니다. 모델은 또한 특정 단백질이나 화학 물질, 코드 줄, 심지어 DNA 마커 간의 연결과 맥락을 인식할 수 있습니다.  

일반적으로 미리 정해진 단계에 따라 데이터를 분석하고 결과를 도출하는 기존 AI와 달리, 생성 AI는 사용자가 프롬프트나 쿼리를 입력하여 콘텐츠 생성을 시작할 수 있도록 합니다. 예를 들어, 애플리케이션에 제2차 세계 대전으로 이어진 사건들에 대한 짧은 에세이를 작성해 달라고 요청할 수 있습니다. 18세기 호주의 일상생활을 묘사한 독창적인 예술 작품을 요청하거나, 텍스트로 장면을 묘사하고 실제 영상으로 구현해 볼 수도 있습니다. 생성 AI는 규칙이나 미리 설정된 결과에 따라 작업을 완료하는 것이 아니라, 새로운 콘텐츠 생성을 위해 설계되었습니다.  

읽어보세요: AI를 혁신하는 세 가지 트렌드

GenAI의 작동 방식과 데이터 저장의 중요성

모든 유형의 AI는 일반적으로 엄청난 양의 데이터를 포함하며, 생성 AI는 아마도 그보다 더 많은 데이터를 필요로 할 것입니다. GenAI를 포함한 AI 프로젝트는 두 단계로 구성되며, 각 단계에서 연구자들은 방대한 데이터 세트를 관리하고 처리해야 합니다.  

훈련 단계 

생성 AI 알고리즘을 훈련하기 위해 연구자들은 방대한 양의 데이터를 제공합니다. 여기에는 온라인 웹 콘텐츠, 책, 비디오, 이미지, 보고서, 소셜 미디어 콘텐츠 등이 포함됩니다. AI 플랫폼은 이러한 데이터를 저장할 수 있어야 합니다. AI 알고리즘은 이러한 콘텐츠 모음을 분석하고 연결 고리, 맥락, 패턴 등을 파악합니다. 이러한 패턴과 연결을 기반으로 수학적 모델을 생성하고, 더 많은 데이터를 수집함에 따라 모델을 지속적으로 개선합니다. LLM은 패턴과 의미에 대한 이해와 인식을 높이기 위해 데이터 세트를 반복적으로 분석합니다.  

AI 학습으로 인해 발생하는 워크로드는 엄청나고 복잡합니다. 스토리지에 대한 읽기와 쓰기를 동시에 처리하려면 초고성능이 필요합니다. 이러한 워크로드를 지원하는 하드웨어와 소프트웨어는 이러한 속도에 맞춰야 합니다.  

추론 단계 

GenAI 알고리즘이 훈련되면 사용자가 쿼리를 수행하고 콘텐츠 출력을 요청할 수 있습니다. 이러한 작업에는 고성능 읽기 기능이 필요한데, AI 시스템이 단 몇 초 만에 최상의 응답을 생성하기 위해 수십억 또는 수조 개의 스토리지 매개변수에 쿼리를 적용해야 하기 때문입니다. 또한 이 단계의 특성상 대부분의 시스템은 사용자가 기대하는 속도와 성능에 도달하기 위해 병렬 데이터 경로를 갖춰야 합니다.  

생성 AI를 위해 고려해야 할 데이터 저장 요소

생성적 AI의 방대한 스토리지 요구를 충족하기 위해 기업들은 데이터 스토리지 및 관리 방식을 재고해야 합니다. 많은 기업들이 하이브리드 데이터 스토리지 방식을 채택하고 있으며, 클라우드와 온프레미스 스토리지를 모두 활용하여 AI 프로젝트를 지원하고 있습니다.  

AI 친화적인 데이터 저장에는 일반적으로 다음이 포함됩니다.  

• • • 높은 수용력 – 페타바이트는 시작점입니다
    • 초고성능 – 낮은 지연 시간과 높은 IOPS 및 처리량으로 가능
    • 병렬 처리 – 대규모 컴퓨팅 어레이 및 여러 독립 네트워크에 이상적으로 연결됨

생성적 AI에 필요한 성능을 달성하기 위해 많은 조직이 온프레미스 어레이에 플래시 기반 SSD를 도입하고 있습니다. AI 데이터 저장에 하드 디스크 드라이브를 사용할 수도 있지만, 플래시가 최적의 선택으로 여겨집니다. 실제로, 한 명의 전문가 산업 분석 회사인 NAND Research는 최근 "[대규모 언어 모델을 진지하게 고려하는 조직은] 고급 플래시 스토리지를 구매하고 있습니다."라고 밝혔습니다.  

SSD를 사용하면 조직에서 필요로 하는 높은 IOPS를 더 작은 공간에서 더 적은 에너지 소비로 제공할 수 있습니다. SSD는 일반적으로 AI 프로젝트에 사용되는 고성능 객체 스토리지에도 적합합니다.  

AWS, Azure, Google Cloud Platform과 같은 하이퍼스케일러조차도 고객이 원하는 성능을 제공하기 위해 SSD를 탑재한 플래시 기반 시스템을 도입하고 있습니다.  

Phison은 생성적 AI를 위한 혁신적인 데이터 스토리지를 제공합니다.

기업들이 생성적 AI의 가치와 그것이 기업에 어떻게 도움이 될 수 있는지 점점 더 깨닫고 있는 가운데, Phison은 끊임없이 변화하는 데이터 저장 요구를 충족하기 위해 R&D와 혁신에 지속적으로 투자해 왔습니다.  

Phison은 AI와 AI가 성공하는 데 필요한 스토리지 유형을 잘 알고 있습니다. 이를 위해 Phison은 AI 컴퓨팅 모델과 AI 서비스용 솔루션을 포함하는 독점 맞춤형 서비스인 IMAGIN+를 출시했습니다.  

회사는 또한 다음을 소개했습니다. aiDAPTIV+IMAGIN+의 확장판입니다. 새로운 서비스는 Phison의 "혁신적인 통합 SSD를 AI 컴퓨팅 프레임워크에 통합하고 AI 애플리케이션 시장에서 NAND 스토리지 솔루션을 확장합니다."  

Phison은 SSD를 AI 컴퓨팅 프레임워크에 통합하여 AI 하드웨어 솔루션의 운영 성능을 향상시키고 GPU와 DRAM에 대한 의존도를 낮춰 AI 프로젝트 비용을 절감합니다. Phison SSD는 오프로드 지원 기능을 제공하여 기업이 GPU와 DRAM에 대한 의존도를 낮추면서 생성적 AI 모델을 학습할 수 있도록 지원합니다.  

Phison의 aiDAPTIV+ 솔루션을 통해 모든 규모의 기업은 자사 데이터에 대한 통제력을 유지하면서도 생성적 AI의 이점을 누릴 수 있습니다. 더 이상 기업들은 자사 데이터에 AI를 학습시키기 위해 전문 하드웨어와 GPU를 구입하는 데 수백만 달러를 지출할 필요가 없습니다.  

생성적 AI는 모든 산업 분야에서 비즈니스 운영, 제품 설계, 고객 서비스, 마케팅 활동 등을 완전히 혁신할 수 있는 잠재력을 가지고 있습니다. Phison의 플래시 기반 스토리지와 SSD를 통해 조직은 이러한 변화에 대비할 수 있습니다.   

Phison의 추가 AI 콘텐츠