隨著各大企業尋求從該技術中獲益,生成式人工智慧在各行業變得越來越普遍。然而,邊緣人工智慧應用經常面臨記憶體限制,從而限制了輸出的品質
為了應對這些挑戰,群聯電子充分利用了其在高性能 NAND 快閃記憶體技術方面的專業知識, 愛DAPTIV+ 解決方案,為擴展人工智慧功能提供了突破性的方法。透過將 SSD 集成為大型語言模型 (LLM) 的擴展內存,Phison 的技術為邊緣物聯網和機器人設備、個人電腦、工程工作站和資料中心伺服器開闢了新的可能性。這些進步使設備能夠加載更大的模型並實現微調和更好的推理結果——這是以前無法實現的功能。
例如,群聯電子的測量結果顯示,NVIDIA 等公司生產的個人電腦和新發布的物聯網設備現在可以在 10 億到 80 億個參數範圍內對模型進行微調,而不僅僅是進行推理。此外,使用 NVIDIA 的 Jetson Orin Nano 超級開發套件例如,aiDAPTIV+ 將 token 長度延長了 16 倍,從而能夠更好地理解上下文並獲得更準確的輸出。具體來說,它將第一個令牌的時間加快了 24 倍,透過改善回應時間來增強用戶體驗。
應對關鍵的人工智慧挑戰
Phison 的 aiDAPTIV + 也旨在解決 AI 推理應用中的關鍵障礙:
-
-
- 打破記憶體限制: aiDAPTIV+ 整合 NAND 快閃記憶體作為擴充記憶體, 使培訓更大 大型語言模型(LLM),同時顯著提高標記處理能力並更好地支援長格式內容的生成和理解。
-
-
-
- 提高推理效率: 透過優化資源,該解決方案提高了推理速度,減少了回應時間,同時保持了成本效益。
-
合作創新
為了將這些進步應用到實際工作負載中,群聯電子與凌華科技進行了合作。他們共同開發了 凌華科技DLAP Supreme系列,一個由 NVIDIA 的 Jetson Orin Nano 超級開發套件和 Phison 的 aiDAPTIV+ 技術提供支援的邊緣生成 AI 平台。該平台無需花費太多的硬體成本,即可提供高記憶體容量和邊緣運算能力,使人工智慧能夠更輕鬆地應用於各個行業和應用。
從資料中心到邊緣運算
Phison 的 aiDAPTIV+ 體現了創新軟體和硬體整合的潛力,將 AI 功能傳播到各個運算層面——從邊緣物聯網設備到資料中心。利用 NVIDIA、Meta 和 Hugging Face 等行業領導者的軟體,群聯電子正在提供實用、經濟高效的解決方案,以增強各個行業、政府部門和學術界對 AI 的採用。
人工智慧的未來在於實現日常任務的智慧自動化,讓人類可以進行更具策略性和創造性的追求。 Phison 的 aiDAPTIV+ 解決方案是實現這一願景的重要一步,為先進、廣泛的生成 AI 能力鋪平了道路。
來自 Phison 的附加 AI 內容