PHISON – 연구 노트 Phison aiDAPTIV+는 Gen-AI를 활성화하기 위해 대규모 모델을 사용하여 비용 효율적입니다.

“Phison aiDAPTIV+는 생성 AI를 구현하는 대규모 모델을 통해 비용 효율적입니다.

분석가의 의견: 빠른 SSD를 계층으로 사용하여 사용 가능한 RAM을 확장하는 것은 새로운 개념이 아닙니다. 대부분의 운영 체제는 설치된 RAM보다 더 많은 시스템 메모리를 사용할 수 있도록 스왑 파일을 사용합니다. Phison aiDAPTIV+는 GPU 메모리에 대해 동일한 개념을 구현하는 하드웨어 및 소프트웨어 세트로, 대규모 모델에서 AI를 비용 효율적으로 구현할 수 있도록 합니다. GPU의 고대역폭 메모리는 GPU 가격의 상당 부분을 차지합니다. AI 모델이 커질수록 더 많은 메모리가 필요합니다. 가장 빠른 방법은 여전히 전체 모델과 데이터를 GPU 메모리에 저장하는 것입니다. 이 경우 대규모 모델에는 고성능 GPU가 필요하며, 전체 모델을 수용하기 위해 클러스터 GPU를 사용하는 경우가 많습니다. Phison aiDAPTIV+는 최대한 높은 학습 처리량이나 가장 낮은 추론 지연 시간이 필요한 사용 사례를 처리하도록 설계되지 않았습니다. 이러한 사용 사례에서는 성능이 GPU 비용을 정당화합니다. Phison aiDAPTIV+는 낮은 처리량이나 긴 응답 지연 시간이 상당한 비용 절감을 위해 허용되는 사용 사례에서 비용 효율적인 결과를 제공합니다. 예를 들어, 66% 비용 절감의 경우, 매주 모델 미세 조정 작업을 두 시간이 아닌 하룻밤 사이에 완료할 수 있습니다. aiDAPTIV+ 솔루션은 aiDAPTIVcache 하드웨어와 aiDAPTIVlink 드라이버로 구성되며, aiDAPTIVProSuite는 AI 소프트웨어 개발 환경으로 선택적으로 사용할 수 있습니다. - futurumgroup.com

원천: 퓨처럼그룹닷컴