随着各行各业都希望从生成式人工智能中获益,生成式人工智能在各行各业变得越来越普遍。然而,边缘人工智能应用往往面临内存限制,从而限制了输出质量
为了应对这些挑战,群联电子充分利用了其在高性能 NAND 闪存技术方面的专业知识, 爱DAPTIV+ 解决方案,为扩展 AI 功能提供了一种突破性的方法。通过将 SSD 集成为大型语言模型 (LLM) 的扩展内存,Phison 的技术为边缘 IoT 和机器人设备、PC、工程工作站和数据中心服务器开辟了新的可能性。这些进步使设备能够加载更大的模型并实现微调和更好的推理结果 - 这是以前无法实现的功能。
例如,Phison 的测量结果显示,NVIDIA 和其他公司推出的 PC 和新发布的 IoT 设备现在可以在 10 亿到 80 亿个参数范围内对模型进行微调,而不仅仅是执行推理。此外,使用 NVIDIA 的 Jetson Orin Nano 超级开发套件aiDAPTIV+ 将 token 长度延长了 16 倍,从而能够更好地理解上下文并输出更准确的结果。具体来说,它将第一个 token 的获取时间缩短了 24 倍,通过缩短响应时间来增强用户体验。
应对关键的人工智能挑战
Phison 的 aiDAPTIV + 还旨在解决 AI 推理应用中的关键障碍:
-
-
- 打破内存限制: aiDAPTIV+ 集成 NAND 闪存作为扩展存储器, 使培训更大 大型语言模型(LLM),同时显著提高标记处理能力并更好地支持长格式内容的生成和理解。
-
-
-
- 提高推理效率: 通过优化资源,该解决方案提高了推理速度,减少了响应时间,同时保持了成本效益。
-
合作创新
为了将这些进步应用到实际工作负载中,群联电子与凌华科技合作。他们共同开发了 凌华科技DLAP Supreme系列是一款边缘生成 AI 平台,搭载 NVIDIA Jetson Orin Nano 超级开发套件和 Phison aiDAPTIV+ 技术。该平台无需花费大量硬件成本,即可在边缘提供高内存容量和计算能力,使 AI 更适用于各种行业和应用。
从数据中心到边缘计算
Phison 的 aiDAPTIV+ 体现了创新软件和硬件集成的潜力,可将 AI 功能传播到各个计算层面——从边缘 IoT 设备到数据中心。利用 NVIDIA、Meta 和 Hugging Face 等行业领导者的软件,Phison 正在提供实用、经济高效的解决方案,以增强行业、政府部门和学术界对 AI 的采用。
人工智能的未来在于将日常任务智能自动化,让人类可以从事更具战略性和创造性的工作。群联的 aiDAPTIV+ 解决方案是实现这一愿景的重要一步,为先进、广泛的生成式人工智能能力铺平了道路。
来自 Phison 的附加 AI 内容