“概括:
- 打破生成式人工智慧的障礙, DLAP Super 和 Supreme 系列 提升 Edge AI 效能,透過 Phison aiDAPTIV+ 解鎖下一級 Edge AI 英偉達 傑森·奧林 超級模式。
. . .
加速邊緣經濟生成人工智慧
在運行大型語言模型 (LLM) 時,邊緣裝置上的生成式 AI 採用通常受到 DRAM 容量限制的限制。 DLAP Supreme 系列採用 NVIDIA Jetson AGX Orin,透過 Phison aiDAPTIV+ 技術提升 AI 能力,有效克服令牌長度限制並提高推理速度。例如,使用配備 NVIDIA Jetson AGX Orin 64GB 配置的 DLAP-411 Orin Supreme 以及 Llama3.1-70B 模型中,推理TTFT提升了52倍,token長度增加了4倍。 DLAP Super系列搭載NVIDIA Jetson Orin超級模式,提供強大、軟體優化的框架,AI TOPS提升高達1.7倍,GenAI模型效能提升高達2倍。 DLAP Super 和 Supreme 系列旨在加速邊緣生成式 AI 應用程式的部署。 ”- morningstar.com
來源: morningstar.com