群聯電子擴展 AI 處理能力,供現場和邊緣使用

aiDAPTIV+ 可實現對更大的 LLM 進行微調,並在 PC、機器人和物聯網設備上實現卓越的推理

作者 | 2025年1月30日 | 人工智慧, 全部, 精選

隨著各大企業尋求從該技術中獲益,生成式人工智慧在各行業變得越來越普遍。然而,邊緣人工智慧應用經常面臨記憶體限制,從而限制了輸出的品質 

 

為了應對這些挑戰,群聯電子充分利用了其在高性能 NAND 快閃記憶體技術方面的專業知識, 愛DAPTIV+ 解決方案,為擴展人工智慧功能提供了突破性的方法。透過將 SSD 集成為大型語言模型 (LLM) 的擴展內存,Phison 的技術為邊緣物聯網和機器人設備、個人電腦、工程工作站和資料中心伺服器開闢了新的可能性。這些進步使設備能夠加載更大的模型並實現微調和更好的推理結果——這是以前無法實現的功能。 

 

例如,群聯電子的測量結果顯示,NVIDIA 等公司生產的個人電腦和新發布的物聯網設備現在可以在 10 億到 80 億個參數範圍內對模型進行微調,而不僅僅是進行推理。此外,使用 NVIDIA 的 Jetson Orin Nano 超級開發套件例如,aiDAPTIV+ 將 token 長度延長了 16 倍,從而能夠更好地理解上下文並獲得更準確的輸出。具體來說,它將第一個令牌的時間加快了 24 倍,透過改善回應時間來增強用戶體驗。 

 

應對關鍵的人工智慧挑戰

Phison 的 aiDAPTIV + 也旨在解決 AI 推理應用中的關鍵障礙: 

      • 打破記憶體限制:  aiDAPTIV+ 整合 NAND 快閃記憶體作為擴充記憶體, 使培訓更大 大型語言模型(LLM),同時顯著提高標記處理能力並更好地支援長格式內容的生成和理解。
      • 提高推理效率:  透過優化資源,該解決方案提高了推理速度,減少了回應時間,同時保持了成本效益。 

 

合作創新

為了將這些進步應用到實際工作負載中,群聯電子與凌華科技進行了合作。他們共同開發了 凌華科技DLAP Supreme系列,一個由 NVIDIA 的 Jetson Orin Nano 超級開發套件和 Phison 的 aiDAPTIV+ 技術提供支援的邊緣生成 AI 平台。該平台無需花費太多的硬體成本,即可提供高記憶體容量和邊緣運算能力,使人工智慧能夠更輕鬆地應用於各個行業和應用。 

 

從資料中心到邊緣運算

Phison 的 aiDAPTIV+ 體現了創新軟體和硬體整合的潛力,將 AI 功能傳播到各個運算層面——從邊緣物聯網設備到資料中心。利用 NVIDIA、Meta 和 Hugging Face 等行業領導者的軟體,群聯電子正在提供實用、經濟高效的解決方案,以增強各個行業、政府部門和學術界對 AI 的採用。 

 

人工智慧的未來在於實現日常任務的智慧自動化,讓人類可以進行更具策略性和創造性的追求。 Phison 的 aiDAPTIV+ 解決方案是實現這一願景的重要一步,為先進、廣泛的生成 AI 能力鋪平了道路。 

 

 

 

 

來自 Phison 的附加 AI 內容

 

加速創新的基礎™

zh_TW繁體中文