PHISON – 研究報告：Phison aiDAPTIV+ 具有成本效益，可實現大型模型，從而實現 Gen-AI

「Phison aiDAPTIV+ 具有成本效益，可實現大型模型生成 AI

分析師觀點： 使用快速 SSD 作為層級來擴展可用 RAM 並非新概念；大多數作業系統都有交換文件，以便啟用比已安裝 RAM 更多的系統記憶體。 Phison aiDAPTIV+ 是一套硬體和軟體，它為 GPU 記憶體實現了同樣的概念，使 AI 在處理大型模型時更具成本效益。 GPU 中的高頻寬記憶體是 GPU 價格的重要組成部分。隨著 AI 模型變得越來越大，對記憶體的需求也隨之增加。最快的選擇仍然是將整個模型和資料保存在 GPU 記憶體中，這需要高端 GPU 來處理大型模型，並且通常需要使用叢集 GPU 來容納整個模型。 Phison aiDAPTIV+ 並非旨在解決需要最高訓練吞吐量或最低推理延遲的用例，在這些用例中，效能與 GPU 的成本相符。在可接受較低吞吐量或較長回應延遲以顯著節省成本的用例中，Phison aiDAPTIV+ 可提供具有成本效益的結果。例如，為了降低66%的成本，每週進行一次的模型微調任務可能只需一夜之間就能完成，而不是兩小時。 aiDAPTIV+解決方案包含aiDAPTIVcache硬體和aiDAPTIVlink驅動程序，以及可選的AI軟體開發環境aiDAPTIVProSuite。 - futurumgroup.com

來源： futurumgroup.com