群聯電子 – 凌華科技在 NVIDIA GTC 2025 上推進邊緣 AI 與 Gen AI 創新

作者 | 2025年3月19日 | 群聯新聞

概括:

. . .

加速邊緣經濟生成人工智慧
在運行大型語言模型 (LLM) 時,邊緣裝置上的生成式 AI 採用通常受到 DRAM 容量限制的限制。 DLAP Supreme 系列採用 NVIDIA Jetson AGX Orin,透過 Phison aiDAPTIV+ 技術提升 AI 能力,有效克服令牌長度限制並提高推理速度。例如,使用配備 NVIDIA Jetson AGX Orin 64GB 配置的 DLAP-411 Orin Supreme 以及 Llama3.1-70B 模型中,推理TTFT提升了52倍,token長度增加了4倍。 DLAP Super系列搭載NVIDIA Jetson Orin超級模式,提供強大、軟體優化的框架,AI TOPS提升高達1.7倍,GenAI模型效能提升高達2倍。 DLAP Super 和 Supreme 系列旨在加速邊緣生成式 AI 應用程式的部署。 ”- morningstar.com

來源: morningstar.com

加速創新的基礎™

zh_TW繁體中文