“Phison aiDAPTIV+ is Cost-Effective With Large Models to Enable Generative AI
分析师观点: 使用快速 SSD 作为层级来扩展可用 RAM 并非新概念;大多数操作系统都有交换文件,以便启用比已安装 RAM 更多的系统内存。Phison aiDAPTIV+ 是一套硬件和软件,它为 GPU 内存实现了同样的概念,使 AI 在处理大型模型时更具成本效益。GPU 中的高带宽内存是 GPU 价格的重要组成部分。随着 AI 模型变得越来越大,对内存的需求也随之增加。最快的选择仍然是将整个模型和数据保存在 GPU 内存中,这需要高端 GPU 来处理大型模型,并且通常需要使用集群 GPU 来容纳整个模型。Phison aiDAPTIV+ 并非旨在解决需要最高训练吞吐量或最低推理延迟的用例,在这些用例中,性能与 GPU 的成本相符。在可接受较低吞吐量或较长响应延迟以显著节省成本的用例中,Phison aiDAPTIV+ 可提供具有成本效益的结果。例如,为了降低66%的成本,每周进行一次的模型微调任务可能只需一夜之间就能完成,而不是两小时。aiDAPTIV+解决方案包含aiDAPTIVcache硬件和aiDAPTIVlink驱动程序,以及可选的AI软件开发环境aiDAPTIVProSuite。- futurumgroup.com
来源: futurumgroup.com