人工智能的记忆墙：为什么人工智能电脑跟不上需求

随着人工智能个人电脑数量的增加和人们期望的提高，一个被忽视的限制因素正在悄然决定本地人工智能究竟能走多远。.

人工智能电脑正在迅速普及. 硅芯片的发展路线图雄心勃勃，软件栈日趋成熟，用户对本地部署人工智能的期望也与日俱增。如今，用户希望他们的笔记本电脑和边缘设备能够独立完成推理、感知、聆听和行动，而无需等待云服务器的响应。而人工智能工作负载本身的复杂性发展速度甚至超过了这些期望。. 

雄心壮志与建筑理念之间的差距正是…… 人工智能记忆墙 问题显现出来。虽然计算性能持续提升，但设备内存的增长速度并未跟上现代人工智能在执行过程中的运行速度。这并非启动时规格设置的问题，也不是简单的运算能力不足。这是一个运行时问题，随着模型运行时间的延长、输入数据的丰富程度的提高以及状态的不断积累，这个问题就会逐渐显现。. 

人工智能的记忆墙大约是 工作记忆耗尽. 人工智能系统在运行过程中出现故障或性能下降的情况日益增多，并非因为无法启动，而是因为无法持续运行。当内存被中途填满时，工作负载就会停滞、崩溃，或者被迫依赖云端，从而违背了本地人工智能的初衷。. 

解决这一挑战并非增加计算能力或扩容存储那么简单，而是需要重新思考在DRAM达到极限后如何扩展AI的工作内存。. 

阅读：群联电子通过闪存扩展重新定义本地AI推理

为什么人工智能工作负载会随着时间的推移消耗更多内存

人工智能工作内存的扩展是近年来才出现的趋势。早期的人工智能推理以今天的标准来看非常简单：模型加载、处理提示、返回答案，然后退出。内存使用量会短暂飙升，然后下降。这种模式已经无法反映人工智能系统的构建和使用方式。. 

现代人工智能工作负载会持续累积内存压力。随着执行的进行，需要保持内存中存储并可访问的数据越来越多。这种转变是由以下几个相互叠加的趋势驱动的： 

推理模型和爆炸式代币增长

推理模型比传统推理模型产生更多的内部状态。它们并非简单地预测下一个词元就继续进行，而是保留中间步骤、部分结论以及支持更深层次推理链所需的上下文信息。. 

行业观察 英伟达 数据显示，内部令牌生成量每年大约增长五倍，而模型本身的规模增长速度更快，每年增长十倍。更大的上下文窗口允许模型引用更多信息，但也增加了模型运行时必须驻留在内存中的数据量。. 

随着推理深度的增加，内存占用也会增加。中间标记、键值缓存和扩展注意力机制都会在运行时不断累积。模型推理的时间越长，消耗的内存就越多。. 

长时间运行的代理会改变内存分布。

另一个根本性的转变是持续性人工智能代理的兴起。这些代理不再响应单一请求，而是持续运行。一些科技行业的顶尖企业，例如…… 亚马逊 和 人类学 已经推出了可以运行数小时甚至数天的代理。. 

持久型智能体必须保留状态，包括累积的上下文、先前的决策、任务历史和不断变化的目标。与短暂的推理调用不同，这些信息不能随意丢弃，否则会破坏连续性。随着智能体的运行，内存使用量会稳步增长。. 

在人工智能电脑上，这种行为很快就会与固定的DRAM内存限制发生冲突。即使是功能简单的智能体，也可能在任务完成之前就耗尽可用工作内存。. 

视觉和视频人工智能成倍增加内存需求

多模态人工智能进一步推高了内存需求。视觉和视频输入的数据量远超文本。短短几秒钟的视频，经过帧处理和嵌入后，就可能转化为数万甚至数十万个标记。. 

视觉处理流程需要同时处理大量数据。帧、嵌入、空间特征和时间上下文必须保持可访问状态，以维持数据的连续性和准确性。与静态图像不同，视频增加了一个累积状态的维度。. 

随着人工智能电脑承担实时视觉任务，内存压力变得不可避免。这并非个例，而是多模态人工智能工作原理的直接结果。. 

问题的规模

人工智能的内存壁垒并非纸上谈兵，它正在与市场现实发生碰撞。人工智能个人电脑的普及速度惊人，且影响深远。处理器供应商、原始设备制造商和平台合作伙伴都在积极布局，频繁发布公告，将人工智能个人电脑定位为下一代标准计算平台。这清晰地表明，本地人工智能已经准备就绪，整个行业都已全力投入。. 

不太为人所知的是，这些预期与这些系统内部实际的内存容量之间存在着多么巨大的差距。尽管市场营销侧重于人工智能加速和设备端智能，但现代人工智能工作负载带来的内存压力增长速度远超大多数人工智能PC的设计承受能力。发布会上的热情掩盖了这些系统预期性能与其实际配备的可用内存之间存在的根本性失衡。. 

例如，像……这样的大型科技公司 英特尔 和 AMD 已发布数百款人工智能个人电脑设计方案。这些系统旨在为消费者、企业和边缘环境中的本地人工智能应用奠定基础。2024年，, 联想 预测显示，到 2027 年，人工智能 PC 可能占新 PC 销量的 80%。这一预测凸显了这一挑战将变得多么普遍。. 

事实上，大多数人工智能PC的DRAM容量为16至32GB。即使是高端配置，DRAM容量也往往难以超过64GB，而实际升级的上限通常最多也只能达到96GB左右。与此同时，DRAM供应的限制和价格压力迫使厂商减少而非增加内存容量。成本、功耗和外形尺寸等因素都阻碍了大众市场系统DRAM容量的大幅提升。. 

其结果是差距日益扩大。人工智能工作负载正以惊人的速度增长，而内存配置却基本保持不变。. 

为什么人工智能电脑不能回退到云端

当本地资源耗尽时，将内存密集型工作负载卸载到云端似乎是理所当然的选择。然而，在实践中，这种做法却破坏了人工智能个人电脑的核心价值主张。. 

隐私和数据控制  

许多人工智能个人电脑应用场景都旨在将数据保留在本地。个人信息、企业数据和医疗保健工作负载通常不能离开设备，否则会引发合规性和信任问题。将运行时状态发送到云端会破坏这些保障。一旦执行依赖于外部基础设施，数据主权就会受到损害。. 

延迟和实时交互 

本地人工智能需要即时响应。无论是个人助理、创意工具还是实时视觉系统，响应速度都至关重要。当内存溢出导致系统迁移到云端时，延迟就会变得难以预测。即使是微小的延迟也会影响用户体验，使系统显得不可靠。. 

成本和可预测性 

云推理费用随使用量增加而增长。长时间运行的代理和多模态工作负载使得成本难以预测。最初看似方便的功能，很快就会演变成预算风险。. 

人工智能电脑旨在提供稳定、可预测的性能。而回退到云端则会引入不稳定因素，这是许多用户无法接受的。. 

AI PC中DRAM的局限性

如果云计算并非解决方案，人们通常会想到增加内存（DRAM）。但这种方法也存在诸多限制。. 

运输配置和物料清单实际情况 

人工智能个人电脑受限于物料成本、功耗预算和物理设计。内存通常采用焊接方式或受平台架构限制。即使有内存插槽，增加DRAM容量也会显著提高系统成本和功耗。. 

升级上限和收益递减 

升级内存的效果只能在一定程度上提升性能。用户很快就会遇到平台设计、供货情况或价格限制带来的瓶颈。高容量DRAM内存条价格昂贵且日益稀缺。超过一定阈值后，每增加1GB内存的成本就难以体现其合理性。. 

供应压力加剧了缺口 

全行业的DRAM短缺进一步加剧了人工智能发展目标与内存供应之间的不匹配。随着服务器、数据中心和消费电子设备的需求不断增长，人工智能PC也在争夺有限的内存供应。. 

仅仅依靠DRAM并非一条可扩展的发展道路。. 

为什么单靠存储无法解决人工智能的内存墙问题

针对人工智能电脑的内存压力，最常见的应对措施之一是假设更大容量或更快速度的固态硬盘可以弥补动态内存的不足。但一旦深入分析人工智能的执行过程，就会发现这种假设并不成立。. 

人工智能工作负载依赖于工作内存，而非海量存储。在执行过程中，模型依赖于诸如模型权重、上下文窗口、键值缓存和长时间运行的代理状态等活跃数据。这些信息必须始终以低延迟和高带宽可用。虽然固态硬盘 (SSD) 擅长存储大量数据，但它们并非设计用于作为持续可访问的工作内存。. 

这种区别在运行时尤为重要。当人工智能工作负载在执行过程中耗尽可用内存时，它无法简单地将数据溢出到冷存储中并继续不间断地运行。将活动状态移出工作内存会引入延迟，导致执行停滞或失败。在许多情况下，由于关键的运行时数据无法立即访问，工作负载会完全崩溃。. 

这就是为什么仅仅增加存储容量并不能从根本上扩展人工智能工作负载的原因。存储可以保存模型、数据集和检查点，但它无法取代工作内存的作用，尤其是在模型进行推理、智能体运行或多模态管道处理实时输入时。. 

解决人工智能内存墙问题需要确保运行时状态在内存不断增长的情况下仍然可用且响应迅速。如果没有这种能力，增加存储空间只会增加理论上的容量，而实际执行仍然会失败。. 

群联电子的 aiDAPTIV 技术如何提供帮助

我们的 aiDAPTIV 技术正是基于这种建筑现实而设计的。. aiDAPTIV 可将个人电脑或工作站转变为私有的、本地部署的企业级 AI 实验室，即插即用，设置简便。它支持端到端的 AI 体验，涵盖数据摄取、模型训练和微调、检索增强生成等各个环节。会议，讨论经济实惠的日常设备。.  

当DRAM内存满时，扩展AI工作内存。 

aiDAPTIV 在 DRAM 达到容量上限时管理 AI 特有的运行时数据。它扩展了 AI 的可用工作内存，而非充当通用存储。通过智能处理溢出，即使内存已满，它也能确保 AI 工作负载继续执行，而不会失败。. 

实现本地人工智能连续性 

这种方法使智能体、推理模型和多模态工作负载能够在本地运行，而无需依赖云。执行过程保持本地化、可预测和私密。它弥补了那些专注于数据中心环境的解决方案（例如内存扩展方法）所存在的不足，这些方案无法应用于人工智能个人电脑或边缘系统。. 

专为满足现实世界人工智能PC的限制而设计 

aiDAPTIV 专为内存固定或有限的环境而设计。这包括采用焊接式 DRAM 的 AI PC、随时间积累上下文信息的个人 AI 代理、对隐私高度敏感的企业工作负载以及没有升级路径的边缘系统。其重点在于性能的持续性，而非峰值基准测试。. 

本地人工智能的未来发展之路

人工智能个人电脑性能不足并非因为计算能力有限，而是遇到了执行过程中出现的内存行为问题。. 

随着模型规模扩大、代理持续存在以及多模态工作负载的增加，工作内存成为瓶颈。增加存储空间并不能解决问题，而仅仅增加DRAM也无法持续。. 

解决人工智能内存瓶颈需要扩展人工智能的工作内存，使其与现代人工智能的实际运行方式相符。群联电子的aiDAPTIV技术正是基于这种架构理念，使各种规模和预算的组织都能实现本地人工智能。. 

下一阶段的本地人工智能将以内存连续性为特征。能够确保人工智能可靠运行的系统将为人工智能个人电脑的真正能力树立标杆。. 

常见问题 (FAQ)：