“概括:
- 打破生成式人工智能的障碍, DLAP Super 和 Supreme 系列 提升 Edge AI 性能,通过 Phison aiDAPTIV+ 解锁下一级 Edge AI 英伟达 杰森·奥林 超级模式。
. . .
加速边缘经济生成人工智能
在运行大型语言模型 (LLM) 时,边缘设备上的生成式 AI 应用通常会受到 DRAM 容量限制的限制。DLAP Supreme 系列搭载 NVIDIA Jetson AGX Orin,并通过 Phison aiDAPTIV+ 技术提升 AI 性能,有效克服令牌长度限制并提升推理速度。例如,使用配备 NVIDIA Jetson AGX Orin 64GB 配置的 DLAP-411 Orin Supreme 以及 Llama3.1-70B 模型中,推理TTFT提升了52倍,token长度增加了4倍。DLAP Super系列搭载NVIDIA Jetson Orin Super Mode,提供强大的软件优化框架,AI TOPS提升高达1.7倍,GenAI模型性能提升高达2倍。DLAP Super和Supreme系列旨在加速边缘生成式AI应用的部署。—— morningstar.com
来源: morningstar.com