Phison, GTC에서 AI 접근성 및 비용 효율성 확장

이 회사는 획기적인 aiDAPTIV+ 제품군에서 여러 가지 주요 진보 사항을 선보였습니다.  

NVIDIA GTC 컨퍼런스는 다음과 같습니다. 일체 포함 그리고 Phison은 aiDAPTIV+ 제품과 솔루션의 흥미로운 새로운 개발 사항을 소개하기 위해 거기에 있었습니다. 39,000명 이상의 현장 참석자와 300,000명이 온라인으로 쇼를 경험하면서 이 행사는 AI 산업과 Phison 모두에게 엄청난 성공을 거두었습니다. 그것은 진정으로 AI의 슈퍼볼이었습니다.

GTC에서 Phison이 선보인 주요 내용을 읽어보세요.

LLMOps가 가능한 업계 최초의 AI 노트북 PC 출시

와 협력하여 메인기어, Phison은 최대 80억 개의 매개변수를 지원하는 최초의 LLM 교육용 노트북 PC 컨셉트 데모를 컨퍼런스 참석자에게 선보였습니다. MAINGEAR AI 노트북에는 Phison aiDAPTIVCache SSD, aiDAPTIVLink 미들웨어, LLM 작업을 위한 aiDAPTIV+ Pro Suite GUI 기반 올인원 기능 세트가 포함되어 있습니다. 여기에는 수집, 미세 조정, 검색 증강 생성(RAG), 모니터링, 검증 및 추론이 포함됩니다.

이 노트북은 야심 찬 AI 개발자와 데이터 과학자는 물론, 클라우드나 수백만 달러 규모의 온프레미스 인프라에 의존하지 않고 자체 데이터를 기반으로 AI 모델을 훈련하려는 모든 조직에 이상적입니다.

Phison US의 GM 겸 사장인 Michael Wu는 최근 회사의 발표에서 “aiDAPTIV+는 이제 항상 백팩에 자신의 데이터 전문가를 두고 있는 것과 같습니다.”라고 말했습니다. 보도 자료. "자신만의 미세 조정 또는 RAG 지원 LLM에서 추론을 훈련하고 수행할 수 있을 뿐만 아니라 통찰력의 보상을 거둘 수 있습니다."

보기: Phison aiDAPTIV+ 솔루션

같은 보도 자료에서 MAINGEAR CEO Wallace Santos는 개념 증명 노트북이 "어디서나 강력한 엣지 AI 추론과 온디바이스 모델 교육을 모두 가능하게 하며" "기업, 교육자 및 학생들에게" AI 모델을 개발하기 위한 비용 효율적인 도구 기존 데이터 센터 인프라의 복잡성 없이.”

평론가 Sayan Sen이 보도함 네오윈닷넷Phison-MAINGEAR AI 노트북은 "사용 가능한 HBM(고대역폭 메모리)/GDDR을 확장하고 NAND 플래시 기반 aiDAPTIVCache와 결합하여 동적 캐싱을 지원합니다."라고 말했습니다. 기사 aiDAPTIV+가 설치된 MAINGEAR AI PC가 aiDAPTIV+가 설치되지 않은 MAINGEAR 설정보다 훨씬 우수한 성능을 보인다는 것을 보여주는 차트가 포함되어 있습니다.

aiDAPTIV+ 기술이 적용된 MAINGEAR AI PC는 2025년 2분기에 세 가지 사전 구성된 모델로 출시될 예정입니다. 고객은 이제 온라인으로 등록하세요 자세한 내용과 주문 가능 여부를 확인하세요.

aiDAPTIV+를 사용하여 엣지에서 AI 추론을 활성화하세요

Phison은 다음과 같이 발표했습니다. aiDAPTIV+ 기술 이제 NVIDIA Jetson 기반 기기에서 실행되도록 검증되었습니다. aiDAPTIVCache SSD를 사용하면 추론 및 Low-Rank Adaptation(LoRA) 기반 LLM 교육 기능이 향상됩니다. 이를 통해 엣지 컴퓨팅 및 로봇 사용 사례에서 완전히 새로운 AI 가능성이 열립니다. 또한 자율 주행 차량, 산업 자동화, 의료 진단, 소매 고객 분석, 통신, 농업, 환경 모니터링, 지능형 감시 등에서도 유용할 것입니다.

업데이트된 aiDAPTIVLink 미들웨어로 더 빠른 속도와 더 복잡한 프롬프트가 가능해졌습니다.

Phison은 aiDAPTIVLink 미들웨어를 업데이트하고 올해 4월에 출시할 예정입니다. aiDAPTIVLink 3.0은 더 빠른 리콜 응답과 프롬프트에 대한 답변의 정확성을 통해 향상된 추론 기능을 제공합니다. 이는 더 긴 토큰 길이를 허용하여 훨씬 더 복잡한 프롬프트를 가능하게 함으로써 가능합니다.

안 GuruFocus의 기사 성능 향상을 설명하면 다음과 같습니다.

"에지 디바이스에서의 생성적 AI 도입은 대규모 언어 모델(LLM)을 실행할 때 DRAM 용량 제약으로 인해 종종 제한을 받습니다. NVIDIA Jetson AGX Orin을 탑재한 [Adlink] DLAP Supreme 시리즈는 Phison aiDAPTIV+ 기술로 AI 성능을 높이고 토큰 길이 제한을 효과적으로 극복하고 추론 속도를 향상시킵니다. 예를 들어, Llama3.1-70B 모델과 함께 NVIDIA Jetson AGX Orin 64GB 구성을 탑재한 DLAP-411 Orin Supreme을 사용하면 추론[첫 번째 토큰까지의 시간] TTFT가 52배 향상되고 토큰 길이가 4배 증가합니다."

다른 매체에서 무슨 말을 했는지 확인하세요

Phison의 발표 내용은 GTC 요약 기사에 포함되었습니다. 포브스:

“Phison은 온프레미스 인프라를 위한 보다 저렴한 AI 교육 및 추론 솔루션인 aiDAPTIV+에 대한 확장된 기능을 발표했습니다. aiDAPTIV+는 AI 노트북 PC와 Nvidia Jetson 플랫폼을 실행하는 엣지 컴퓨팅 장치에 통합되고 있습니다.”

트윅타운, MAINGEAR-Phison AI PC 노트북에서:

"Phison은 현재 고가 GPU 메모리에 있는 프로세싱을 저비용 NAND 플래시 스토리지로 오프로드하여 AI 모델 실행 비용을 줄이고자 합니다. 이를 통해 AI 모델의 운영 비용이 줄어들어 더 큰 모델을 저렴한 기기에서 학습할 수 있습니다. 이 회사의 aiDAPTIV+ 소프트웨어의 힘을 활용하면 사용자는 이제 백팩에 넣을 수 있는 기기 내에서 자체 데이터로 AI 모델을 사용자 정의할 수 있습니다."

트윅타운, aiDAPTIV+ 솔루션이 AI 훈련 비용을 어떻게 획기적으로 줄였는지에 대해:

“Phison은 세계 최초의 1조 매개변수 모델이 2025년 말 이전에 공개될 것으로 예상합니다. … Phison은 1조 매개변수 모델의 운영 비용이 순수 GPU 전력으로 약 $3백만이 될 것으로 예상하지만, 회사는 비용을 $100,000으로 낮추는 계획을 세웠습니다. 어떻게? SSD, Phison의 aiDAPTIV+ 소프트웨어, NVIDIA GH200 Superchip의 조합입니다.

 

Phison의 직관적인 aiDAPTIV+ 소프트웨어를 사용하여 GPU에서 SSD로 처리를 오프로드함으로써 회사는 대규모 AI 모델을 성공적으로 실행하는 데 필요한 GPU 수를 크게 줄일 수 있습니다. Phison은 가장 큰 크기의 모델을 훈련하는 데 드는 비용을 가격의 1/30, 즉 현재 추정 운영 비용의 4% 미만으로 줄일 수 있을 것으로 예상합니다.”

블록 및 파일, aiDAPTIV+ 기능에 관하여:

“… aiDAPTIV+는 예산 친화적인 GPU 메모리 확장 기능으로, 사용자가 온프레미스 '폐쇄 루프' 보안 네트워크 내에서 데이터로 LLM을 훈련할 수 있게 해주는 동시에 데이터와 상호 작용하고 데이터에 대한 질문을 할 수 있는 간단한 사용자 인터페이스를 제공합니다. aiDAPTIV+를 사용한 IoT용 AI 추론은 이제 Phison의 Nvidia Jetson 기반 장치 검증을 통해 엣지 컴퓨팅 및 로봇 사용 사례를 지원합니다.”

여기에서 aiDAPTIV+ 기술에 대해 자세히 알아보세요. 설명 비디오 >>

Phison의 추가 AI 콘텐츠