群联电子 – 凌华科技在 NVIDIA GTC 2025 上推进边缘 AI 和 Gen AI 创新

作者 | 2025年3月19日 | 群联新闻

概括:

. . .

加速边缘经济生成人工智能
在运行大型语言模型 (LLM) 时,边缘设备上的生成式 AI 应用通常会受到 DRAM 容量限制的限制。DLAP Supreme 系列搭载 NVIDIA Jetson AGX Orin,并通过 Phison aiDAPTIV+ 技术提升 AI 性能,有效克服令牌长度限制并提升推理速度。例如,使用配备 NVIDIA Jetson AGX Orin 64GB 配置的 DLAP-411 Orin Supreme 以及 Llama3.1-70B 模型中,推理TTFT提升了52倍,token长度增加了4倍。DLAP Super系列搭载NVIDIA Jetson Orin Super Mode,提供强大的软件优化框架,AI TOPS提升高达1.7倍,GenAI模型性能提升高达2倍。DLAP Super和Supreme系列旨在加速边缘生成式AI应用的部署。—— morningstar.com

来源: morningstar.com

加速创新的基础™

zh_CN简体中文