群聯電子在 GTC 上拓展 AI 可及性和成本效益

該公司展示了其突破性的 aiDAPTIV+ 產品的幾項關鍵進步。  

NVIDIA GTC 大會的主題是 人工智慧 群聯電子也在現場介紹其 aiDAPTIV+ 產品和解決方案令人興奮的新進展。此次展會吸引了超過 39,000 名現場觀眾，另有 30 萬名觀眾在線上觀看，對於 AI 產業和群聯而言都是一次巨大的成功。這確實是人工智慧的超級盃。

請繼續閱讀群聯在 GTC 上展示的精彩內容。

推出業界首款支援 LLMOps 的 AI 筆記型電腦

與...合作 麥因蓋爾群聯向與會者展示了首款支援高達 80 億個參數的模型的 LLM 培訓筆記型電腦概念演示。 MAINGEAR AI 筆記型電腦包括 Phison aiDAPTIVCache SSD、aiDAPTIVLink 中間件和基於 aiDAPTIV+ Pro Suite GUI 的一體化功能集，用於 LLM 操作 - 包括攝取、微調、檢索增強生成 (RAG)、監控、驗證和推理。

這款筆記型電腦非常適合有抱負的人工智慧開發人員和資料科學家，以及任何希望在自己的資料上訓練人工智慧模型而無需依賴雲端或價值數百萬美元的內部部署基礎設施的組織。

Phison US 總經理兼總裁 Michael Wu 在該公司最近的一次活動中表示：“aiDAPTIV+ 現在相當於在你的背包裡隨時有一個數據專家。” 新聞稿。 “您不僅可以使用自己精心調整或支持 RAG 的 LLM 進行訓練和推理，還可以獲得洞察力的回報。”

查看：Phison aiDAPTIV+解決方案

在同一新聞稿中，MAINGEAR 首席執行官 Wallace Santos 表示，這款概念驗證筆記型電腦“既可以實現強大的邊緣 AI 推理，又可以在任何地方進行設備上的模型訓練”，並為“企業、教育工作者和學生 開發人工智慧模型的經濟高效的工具 而沒有傳統資料中心基礎設施的複雜性。 」

審稿者 Sayan Sen，報告 Neowin網站表示，Phison-MAINGEAR AI 筆記型電腦「透過擴展可用的 HBM（高頻寬記憶體）/GDDR 並將其與基於 NAND 快閃記憶體的 aiDAPTIVCache 結合，有助於實現動態快取」。這 文章 其中包括一張圖表，顯示帶有 aiDAPTIV+ 的 MAINGEAR AI PC 的性能遠遠優於不帶 aiDAPTIV+ 的 MAINGEAR 設定。

搭載 aiDAPTIV+ 技術的 MAINGEAR AI PC 將於 2025 年第二季上市，有三款預配置機型。客戶現在可以 網上註冊 獲得有關可用性和訂購的更多詳細資訊。

使用 aiDAPTIV+ 在邊緣實現 AI 推理

群聯電子宣布 aiDAPTIV+技術 現已驗證可在基於 NVIDIA Jetson 的裝置上運作。使用 aiDAPTIVCache SSD 可增強推理和基於低秩自適應 (LoRA) 的 LLM 訓練能力。這為邊緣運算和機器人用例中的人工智慧可能性開闢了一個全新的世界。它還將有利於自動駕駛汽車、工業自動化、醫療診斷、零售客戶分析、電信、農業、環境監測、智慧監控等領域。

更新的 aiDAPTIVLink 中間件可實現更快的速度和更複雜的提示

Phison 已更新其 aiDAPTIVLink 中間件，並計劃於今年 4 月上市。 aiDAPTIVLink 3.0 透過更快的回憶回應和更準確的提示答案提供增強的推理能力。它透過允許更長的令牌長度來實現這一點，從而可以實現更複雜的提示。

一個 GuruFocus 的文章 說明了性能的提升：

「在運行大型語言模型 (LLM) 時，邊緣設備上的生成式 AI 採用通常受到 DRAM 容量限制的限制。[Adlink] DLAP Supreme 系列採用 NVIDIA Jetson AGX Orin，透過 Phison aiDAPTIV+ 技術提升 AI 能力，有效克服令牌長度限制並提高 LIA 配置的推理速度。 lama3.1-70B 模型，推理 [第一個令牌的時間] TTFT 提高了 52 倍，令牌長度增加了 4 倍。

看看其他媒體怎麼說

Phison 的公告包含在 GTC 摘要文章中 《富比士》：

“群聯電子宣布了 aiDAPTIV+ 的一系列擴展功能，這是一款針對內部部署基礎設施的更經濟實惠的 AI 訓練和推理解決方案。aiDAPTIV+ 正在集成到 AI 筆記型電腦以及運行 Nvidia Jetson 平台的邊緣計算設備中。”

特威克敦在 MAINGEAR-Phison AI PC 筆記型電腦上：

「群聯電子正著手降低運行 AI 模型的成本，將目前高成本 GPU 內存上的處理轉移到低成本的 NAND 閃存上，這樣一來，AI 模型的運營成本就會降低，從而可以在更便宜的設備上訓練更大的模型。通過利用該公司 aiDAPTIV+ 軟件的強大功能，用戶現在可以使用自己的數據包

特威克敦關於 aiDAPTIV+ 解決方案如何大幅減少 AI 訓練的投入：

「Phison 預計，全球首個 1 兆參數模型將於 2025 年底前推出。…Phison 預計，1 兆參數模型的原始 GPU 功耗營運成本約為 $3 百萬，但該公司已製定計劃，將成本降低至 $100,000。如何實現？SSD、PhIA 辦公室的 9DA420202020 9020209737 月。

 

透過使用 Phison 的直覺式 aiDAPTIV + 軟體將處理從 GPU 卸載到 SSD 上，該公司能夠大幅減少成功運行大型 AI 模型所需的 GPU 數量。群聯電子預計，將能夠將訓練最大尺寸模型的成本降低 1/30，或低於目前估計的營運成本的 4%。 」

塊和文件關於 aiDAPTIV+ 功能：

「…aiDAPTIV+ 是一種經濟實惠的 GPU 記憶體擴展功能，允許用戶在本地『閉環」安全網路中使用其資料訓練 LLM，同時提供一個簡單的使用者介面來與資料互動並詢問有關資料的問題。借助 Phison 對基於 Nvidia Jetson 的裝置的驗證，具有 aiDAPTIV+ 的邊緣 Phison 對基於 Nvidia Jetson 的裝置的驗證，具有 aiDAPTIV+ 的邊緣物線和機器人用例。

詳細了解 aiDAPTIV+ 技術 解釋影片 >>

來自 Phison 的附加 AI 內容