群联电子在 GTC 上拓展 AI 可及性和成本效益

该公司展示了其突破性的 aiDAPTIV+ 产品的几项关键进步。  

NVIDIA GTC 大会的主题是 人工智能 群联电子也出席了此次展会，展示了其 aiDAPTIV+ 产品和解决方案的激动人心的新进展。现场有超过 39,000 名观众，另有 300,000 人通过网络观看了此次展会，对于 AI 行业和群联电子来说，这次展会都取得了巨大的成功。这确实是 AI 界的超级碗。

请继续阅读群联在 GTC 上展示的精彩内容。

推出业界首款支持 LLMOps 的 AI 笔记本电脑

与...合作 麦因盖尔群联向与会者展示了首款支持高达 80 亿个参数的模型的 LLM 训练笔记本电脑概念演示。MAINGEAR AI 笔记本电脑包括 Phison aiDAPTIVCache SSD、aiDAPTIVLink 中间件和基于 aiDAPTIV+ Pro Suite GUI 的一体化 LLM 操作功能集——包括摄取、微调、检索增强生成 (RAG)、监控、验证和推理。

这款笔记本电脑非常适合有抱负的人工智能开发人员和数据科学家，以及任何希望在自己的数据上训练人工智能模型而无需依赖云或价值数百万美元的内部部署基础设施的组织。

Phison US 总经理兼总裁 Michael Wu 在该公司最近的一次活动中表示：“aiDAPTIV+ 现在相当于在你的背包里随时有一个数据专家。” 新闻稿。“您不仅可以在自己经过微调或支持 RAG 的 LLM 上进行训练和推理，还可以获得洞察力的回报。”

查看：Phison aiDAPTIV+解决方案

在同一新闻稿中，MAINGEAR 首席执行官 Wallace Santos 表示，这款概念验证笔记本电脑“既可以实现强大的边缘 AI 推理，又可以在任何地方进行设备上的模型训练”，并为“企业、教育工作者和学生 开发人工智能模型的经济高效的工具 而没有传统数据中心基础设施的复杂性。”

审稿人 Sayan Sen，报告 Neowin网站表示，Phison-MAINGEAR AI 笔记本电脑“通过扩展可用的 HBM（高带宽内存）/GDDR 并将其与基于 NAND 闪存的 aiDAPTIVCache 相结合，有助于实现动态缓存。” 文章 其中包括一张图表，显示带有 aiDAPTIV+ 的 MAINGEAR AI PC 的性能远远优于不带 aiDAPTIV+ 的 MAINGEAR 设置。

采用 aiDAPTIV+ 技术的 MAINGEAR AI PC 将于 2025 年第二季度推出，有三种预配置型号。客户现在可以 网上注册 获得有关可用性和订购的更多详细信息。

使用 aiDAPTIV+ 在边缘实现 AI 推理

群联电子宣布 aiDAPTIV+ 技术 现已验证可在基于 NVIDIA Jetson 的设备上运行。使用 aiDAPTIVCache SSD 可增强推理和基于低秩自适应 (LoRA) 的 LLM 训练能力。这为边缘计算和机器人用例中的 AI 可能性开辟了一个全新的世界。它还将有益于自动驾驶汽车、工业自动化、医疗诊断、零售客户分析、电信、农业、环境监测、智能监控等。

更新的 aiDAPTIVLink 中间件可实现更快的速度和更复杂的提示

Phison 已更新其 aiDAPTIVLink 中间件，并计划于今年 4 月上市。aiDAPTIVLink 3.0 通过更快的召回响应和更准确的提示答案提供增强的推理能力。它通过允许更长的令牌长度来实现这一点，从而实现更复杂的提示。

一个 GuruFocus 的文章 说明了性能的提升：

“在运行大型语言模型 (LLM) 时，边缘设备上的生成式 AI 采用通常受到 DRAM 容量限制的限制。[Adlink] DLAP Supreme 系列采用 NVIDIA Jetson AGX Orin，通过 Phison aiDAPTIV+ 技术提升 AI 能力，有效克服令牌长度限制并提高推理速度。例如，使用配备 NVIDIA Jetson AGX Orin 64GB 配置的 DLAP-411 Orin Supreme 以及 Llama3.1-70B 模型，推理 [第一个令牌的时间] TTFT 提高了 52 倍，令牌长度增加了 4 倍。”

看看其他媒体怎么说

Phison 的公告包含在 GTC 摘要文章中 《福布斯》：

“群联电子宣布了 aiDAPTIV+ 的一系列扩展功能，这是一款针对内部部署基础设施的更经济实惠的 AI 训练和推理解决方案。aiDAPTIV+ 正在集成到 AI 笔记本电脑以及运行 Nvidia Jetson 平台的边缘计算设备中。”

调整城在 MAINGEAR-Phison AI PC 笔记本电脑上：

“群联电子正着手降低运行 AI 模型的成本，将目前高成本 GPU 内存上的处理转移到低成本的 NAND 闪存上，这样一来，AI 模型的运营成本就会降低，从而可以在更便宜的设备上训练更大的模型。通过利用该公司 aiDAPTIV+ 软件的强大功能，用户现在可以使用自己的数据自定义 AI 模型，而这一切都可以在一个可以装进背包的设备内完成。”

调整城关于 aiDAPTIV+ 解决方案如何大幅减少 AI 训练的投入：

“Phison 预计，全球首个 1 万亿参数模型将于 2025 年底前推出。……Phison 预计，1 万亿参数模型的原始 GPU 功耗运营成本约为 $3 百万，但该公司已制定计划，将成本降低至 $100,000。如何实现？SSD、Phison 的 aiDAPTIV+ 软件和 NVIDIA GH200 超级芯片的组合。

 

通过使用 Phison 直观的 aiDAPTIV+ 软件将处理从 GPU 转移到 SSD 上，该公司能够显著减少成功运行大型 AI 模型所需的 GPU 数量。Phison 预计，它将能够将训练最大尺寸模型的成本降低 1/30，或低于目前估计运营成本的 4%。”

块和文件关于 aiDAPTIV+ 功能：

“……aiDAPTIV+ 是一种经济实惠的 GPU 内存扩展功能，允许用户在本地“闭环”安全网络中使用其数据训练 LLM，同时提供一个简单的用户界面来与数据交互并询问有关数据的问题。借助 Phison 对基于 Nvidia Jetson 的设备的验证，带有 aiDAPTIV+ 的物联网 AI 推理现在支持边缘计算和机器人用例。”

详细了解 aiDAPTIV+ 技术 解释视频 >>

来自 Phison 的附加 AI 内容