本地人工智能正在不断进步，但其内存问题依然存在。

小型模型的功能远胜于一年前。但大型模型仍能进一步提升性能上限，而且围绕它们产生的工作负载所需的内存也远超参数数量所显示的水平。.

本地人工智能正在快速发展。更先进的训练、蒸馏、量化和模型架构使得小型模型能够处理过去需要大型模型才能完成的工作。专为个人电脑和工作站设计的模型现在能够进行推理、理解图像、调用工具、处理文档，并作为智能体工作流程的一部分运行。.  

这改变了本地可以执行的操作。但这并不意味着模型大小或内存容量不再重要。.  

小型模型的功能日益强大，但大型模型在推理、准确率、知识覆盖范围、多语言性能以及处理复杂任务的可靠性方面仍然更胜一筹。同时，实用本地人工智能工作负载的定义也不再局限于加载单个模型并回答单个问题。我们现在期望本地人工智能能够处理更复杂的上下文，理解多种类型的数据，使用各种工具，检索私有信息，保留先前的工作成果，有时甚至能够同时运行多个模型或智能体。.  

该模型可能效率更高，但总工作量未必更小。. 

较小的型号提高了地面，而不是天花板。

参数数量并非衡量模型性能的完美指标。一个训练良好的 120 亿模型可能比规模大数倍的旧模型性能更优。量化可以显著降低运行模型所需的内存。混合专家 (MoE) 架构可以针对每个词元仅激活模型的一小部分参数，从而降低计算需求。.  

这些进步使得在更广泛的系统上实现实用的局部人工智能成为可能。但这并不意味着大型模型就变得无关紧要了。.  

模型质量取决于架构、训练数据、训练后处理、精确率以及评估的工作负载，而不仅仅是参数数量。尽管如此，复杂的推理、编码、多语言和多模态任务仍然可以从更大模型的额外容量中获益。较小的模型可能在基准测试或特定任务中表现良好，但在复杂的企业工作流程中却无法提供同样的稳定性。.  

实际问题不仅仅在于小型模型还是大型模型“胜出”。更重要的是哪种模型能够为工作负载提供可接受的质量，以及本地系统是否有足够的内存来运行它。.  

该功能增加了超出模型范围的内存。

模型权重只是内存需求中最显而易见的部分。现代本地人工智能应用可能还需要以下内存：  

• 长上下文及其关联的 KV 缓存  

• 检索到的文档和企业数据  

• 图像、音频或视频输入  

• 工具定义、调用和结果  

• 代理人计划和先前行动  

• 嵌入和重排序模型  

• 多个用户、会话或代理  

• 可重用的提示和预先计算的上下文  

这些需求会在应用程序运行过程中不断累积。.  

在应用程序启动时适用的模型可能不足以应对较长的上下文窗口。代理程序可能从一个易于处理的提示开始，然后在数十个步骤中逐步添加源文档、搜索结果、工具输出、代码、计划和先前的响应。.  

并发性使问题更加严重。每个活跃会话可能都需要自己的键值缓存。即使共享同一个基础模型，多个代理处理同一任务的不同部分也会成倍增加内存占用。模型拟合是必要的，但这已不再足够。.  

长篇上下文并非免费。

长上下文已成为标准模型特性。目前的模型宣称上下文窗口可容纳数十万甚至数百万个令牌。但这并不意味着每个本地系统都能有效地利用整个窗口。.  

在推理过程中，系统会创建一个键值缓存（KV缓存），其中包含从先前处理的词元中提取的信息。KV缓存使得模型无需为每个新词元重新计算整个历史记录即可继续运行。随着上下文的增长，KV缓存也会增长。其大小还会随着模型架构、批处理大小和并发会话数的增加而增加。.  

应用程序可以通过丢弃较旧的上下文、对其进行摘要或在需要时重新计算信息来控制内存消耗。每种方法都有其代价。模型可能会丢失有用的细节，花费额外的计算资源来重建先前的工作，或者需要更长的响应时间。.  

因此，较大的广告上下文窗口既是模型的功能，也是基础设施的要求。.  

工具的使用将提示转化为工作量

工具调用本身并不特别消耗内存，但它周围的环境却可能消耗大量内存。一个智能体从指令和任务开始，然后可能会检查文件、调用 API、搜索数据库、运行代码、评估结果、修改计划并再次尝试。相关的输出会被添加到智能体的工作上下文中，以便它决定下一步该做什么。.  

编码代理可能需要反复处理大型存储库。研究代理可能需要处理大量文档并保留引用、注释和中间结论。业务代理可能需要从多个系统中提取数据，然后生成答案。.  

最终结果并非单一的大型提示，而是一个不断扩展的提示序列，其中包含检索到的信息、工具结果和决策。正因如此，智能体人工智能将内存讨论的焦点从模型容量转移到了工作负载容量。.  

多模态的含义不仅仅是添加图像。

本地模型也正逐渐实现原生多模态化。单个应用程序可以处理文本、图像、音频、文档、屏幕截图或视频。一些多模态模型在一个架构内处理这些输入。其他应用程序则使用多个专用模型，这些模型以流水线的方式连接。这两种方法都会增加内存压力。.  

该系统可能需要包含主语言模型、特定模态组件、中间表示以及从输入中创建的上下文。能够查看文档、理解图表、监听会议并调用业务工具的本地助手比仅支持文本的聊天机器人更有用。.  

工作量也更大。.  

MoE 模型减少的是计算能力，而不是模型总容量。

MoE 模型是模型效率和内存需求为何可以同时提升的另一个例证。MoE 模型包含多个专家网络，但每个词元仅激活其中的一个子集。这使得模型能够在不每次计算都使用所有参数的情况下，提供更大的总容量。激活的参数数量可能相对较少，而完整的专家集仍然可能非常庞大。.  

即使大多数专家在任何给定时刻都处于非活动状态，将所有专家都驻留在 GPU 内存中也会消耗内存。减少驻留专家的数量可以节省内存，但当模型将令牌路由到某个专家时，系统需要加载该专家。.  

教育效率提升机制提高了计算效率，但并不会让不活跃的专家消失。.  

记忆正在形成一种层级结构。

应对内存限制的传统方法是增加GPU显存或系统DRAM。当整个工作负载必须以最高速度运行时，这仍然是最佳解决方案。然而，这种方法并非总是切实可行。.  

GPU 显存价格昂贵且容量有限。工作站 DRAM 容量更大，但容量仍然有限。闪存容量更大，成本更低，但延迟比两者都高。.  

真正重要的问题不是闪存是否像GPU内存一样快——答案是否定的。真正的问题是，工作负载的每个部分是否都需要始终占用最快的内存层级。.  

活跃模型数据和当前上下文需要快速访问。非活跃的 MoE 专家、旧的 KV 缓存、可重用的提示前缀和预计算的 RAG 内容可以驻留在更大的内存层中，直到需要时才使用。智能地管理这些资源可以让本地系统运行比其 GPU 和 DRAM 容量所能支持的更大或更长时间的工作负载。.  

Pascari aiDAPTIV 能提供哪些帮助？

Pascari aiDAPTIV 将有效的 AI 内存扩展到 GPU 内存、系统内存和高耐久性闪存。它与支持的 AI 运行时集成，使软件能够管理特定的 AI 数据，而不是将 SSD 视为通用系统存储。根据工作负载和运行时，这些数据可以包括模型数据、MoE 专家、KV 缓存或常用 RAG 内容的预计算 KV 条目。.  

这可以带来以下几个实际成果：  

• 运行模型，其完整权重超出可用 GPU 和系统内存的限制。  

• 动态加载 MoE 专家，而不是让每个专家都常驻在本地。  

• 随着会话数量的增长，保留更多的键值缓存。  

• 当存在稳定的共享上下文时，重用先前计算的上下文。  

• 预先缓存频繁检索的内容，以减少重复预填充。  

• 无需添加GPU即可运行内存受限的微调工作负载  

其结果并不等同于在GPU内存中运行整个工作负载。性能取决于层级间的数据移动量以及工作负载对数据传输的频率。但是，当其他替代方案包括缩减模型、缩短上下文、限制并发性、增加GPU或完全不运行工作负载时，这种权衡就显得尤为重要。.  

本地人工智能正在扩张，而不是萎缩。

更小的模型将不断改进，量化和内存压缩技术也将随之提升。这些进步将使功能日益强大的人工智能能够在个人电脑和工作站上运行。.  

开发者将利用这种效率优势来完成更多工作。当工作负载需要更大的模型时，他们会选择更大的模型。他们会使用更长的上下文，添加多模态输入，连接更多工具，保留更多状态，并同时运行更多工作负载。.  

内存效率提升扩展了本地人工智能的功能，但并不意味着不再需要内存。相关的规模评估问题不再仅仅是“模型有多大？”如今，问题变成了：  

整个工作负载需要完成哪些任务？一旦开始执行，它将需要多少内存？  

详细了解 Pascari aiDAPTIV 以及用于本地 AI 工作负载的闪存加速内存扩展，或者  请联系 Pascari 销售代表 今天。.