PHISON – 研究ノート Phison aiDAPTIV+は、大規模モデルでGen-AIを実現するコスト効率に優れています

「Phison aiDAPTIV+は、大規模なモデルで生成AIを実現するコスト効率に優れています」

アナリストの見解: 高速SSDを使用可能なRAMを拡張する層として使用するという概念は新しいものではありません。ほとんどのオペレーティングシステムには、搭載されているRAMよりも多くのシステムメモリを有効にするためのスワップファイルがあります。Phison aiDAPTIV+は、GPUメモリで同じ概念を実現するハードウェアとソフトウェアのセットであり、大規模モデルでAIをコスト効率よく活用できるようにします。GPUの高帯域幅メモリは、GPU価格の大きな部分を占めています。AIモデルが大規模になるにつれて、より多くのメモリが必要になります。最速の選択肢は依然としてモデル全体とデータをGPUメモリに保持することですが、大規模モデルにはハイエンドGPUが必要であり、多くの場合、モデル全体を収容するためにクラスターGPUの使用が必要になります。Phison aiDAPTIV+は、GPUのコストに見合うパフォーマンスが求められる、可能な限り最高のトレーニングスループットや最低の推論レイテンシが求められるユースケースに対応することを目的としていません。Phison aiDAPTIV+は、スループットの低下や応答レイテンシの長期化が許容され、大幅なコスト削減が見込まれるユースケースにおいて、コスト効率の高い結果をもたらします。例えば、66%のコスト削減では、毎週のモデル微調整作業が2時間ではなく一晩で完了する可能性があります。aiDAPTIV+ソリューションは、aiDAPTIVcacheハードウェアとaiDAPTIVlinkドライバーで構成され、オプションのAIソフトウェア開発環境としてaiDAPTIVProSuiteが利用可能です。- futurumgroup.com

ソース： futurumgroup.com