本地人工智慧正在不斷進步，但其記憶體問題仍然存在。

小型模型的功能遠勝於一年前。但大型模型仍能進一步提升效能上限，而且圍繞它們產生的工作負載所需的記憶體也遠遠超出參數數量所顯示的水平。.

本地人工智慧正在快速發展。更先進的訓練、蒸餾、量化和模型架構使得小型模型能夠處理過去需要大型模型才能完成的工作。專為個人電腦和工作站設計的模型現在能夠進行推理、理解圖像、調用工具、處理文檔，並作為智能體工作流程的一部分運行。.  

這改變了本地可以執行的操作。但這並不意味著模型大小或記憶體容量不再重要。.  

小型模型的功能日益強大，但大型模型在推理、準確率、知識覆蓋範圍、多語言性能以及處理複雜任務的可靠性方面仍然更勝一籌。同時，實用本地人工智慧工作負載的定義也不再局限於載入單一模型並回答單一問題。我們現在期望本地人工智慧能夠處理更複雜的上下文，理解多種類型的數據，使用各種工具，檢索私有訊息，保留先前的工作成果，有時甚至能夠同時運行多個模型或智慧體。.  

此模型可能效率更高，但總工作量未必更小。. 

較小的型號提高了地面，而不是天花板。

參數數量並非衡量模型表現的完美指標。一個訓練良好的 120 億模型可能比規模大數倍的舊模型性能更優。量化可以顯著降低運行模型所需的記憶體。混合專家 (MoE) 架構可以針對每個詞元僅啟動模型的一小部分參數，從而降低運算需求。.  

這些進步使得在更廣泛的系統上實現實用的局部人工智慧成為可能。但這並不代表大型模型就變得無關緊要了。.  

模型品質取決於架構、訓練資料、訓練後處理、精確率以及評估的工作負載，而不僅僅是參數數量。儘管如此，複雜的推理、編碼、多語言和多模態任務仍然可以從更大模型的額外容量中受益。較小的模型可能在基準測試或特定任務中表現良好，但在複雜的企業工作流程中卻無法提供相同的穩定性。.  

實際問題不僅在於小型模型還是大型模型「勝出」。更重要的是哪種模型能夠為工作負載提供可接受的質量，以及本地系統是否有足夠的記憶體來運行它。.  

此功能增加了超出模型範圍的記憶體。

模型權重只是記憶體需求中最顯而易見的部分。現代本地人工智慧應用可能還需要以下記憶體：  

• 長上下文及其關聯的 KV 快取  

• 檢索到的文件和企業數據  

• 影像、音訊或視訊輸入  

• 工具定義、呼叫和結果  

• 代理人計劃和先前行動  

• 嵌入與重排序模型  

• 多個使用者、會話或代理  

• 可重用的提示和預先計算的上下文  

這些需求會在應用程式運行過程中不斷累積。.  

在應用程式啟動時適用的模型可能不足以應對較長的上下文視窗。代理程式可能從一個易於處理的提示開始，然後在數十個步驟中逐步添加原始文件、搜尋結果、工具輸出、程式碼、計劃和先前的回應。.  

並發性使問題更加嚴重。每個活躍會話可能都需要自己的鍵值快取。即使共享同一個基礎模型，多個代理程式處理相同任務的不同部分也會倍增記憶體佔用。模型擬合是必要的，但這已不再足夠。.  

長篇上下文並非免費。

長上下文已成為標準模型特性。目前的模型宣稱上下文視窗可容納數十萬甚至數百萬個令牌。但這並不意味著每個本地系統都能有效地利用整個視窗。.  

在推理過程中，系統會建立一個鍵值快取（KV快取），其中包含從先前處理的詞元中提取的資訊。 KV緩存使得模型無需為每個新詞元重新計算整個歷史記錄即可繼續運行。隨著上下文的成長，KV快取也會成長。其大小也會隨著模型架構、批次大小和並發會話數的增加而增加。.  

應用程式可以透過丟棄較舊的上下文、對其進行摘要或在需要時重新計算資訊來控制記憶體消耗。每種方法都有其代價。模型可能會失去有用的細節，花費額外的運算資源來重建先前的工作，或需要更長的回應時間。.  

因此，較大的廣告上下文視窗既是模型的功能，也是基礎設施的要求。.  

工具的使用將提示轉化為工作量

工具呼叫本身並不特別消耗內存，但它周圍的環境可能消耗大量內存。一個智能體從指令和任務開始，然後可能會檢查檔案、呼叫 API、搜尋資料庫、執行程式碼、評估結果、修改計劃並再次嘗試。相關的輸出會被加入到智能體的工作上下文中，以便它決定下一步該做什麼。.  

編碼代理可能需要重複處理大型儲存庫。研究代理可能需要處理大量文件並保留引用、註釋和中間結論。業務代理可能需要從多個系統中提取數據，然後產生答案。.  

最終結果並非單一的大型提示，而是一個不斷擴展的提示序列，其中包含檢索到的信息、工具結果和決策。正因如此，智能體人工智慧將記憶體討論的焦點從模型容量轉移到了工作負載容量。.  

多模態的含義不僅僅是添加圖像。

本地模型也逐漸實現原生多模態化。單一應用程式可以處理文字、圖像、音訊、文件、螢幕截圖或影片。一些多模態模型在一個架構內處理這些輸入。其他應用程式則使用多個專用模型，這些模型以管線的方式連接。這兩種方法都會增加記憶體壓力。.  

該系統可能需要包含主語言模型、特定模態元件、中間表示以及從輸入中建立的上下文。能夠查看文件、理解圖表、監聽會議並調用業務工具的本地助理比僅支援文字的聊天機器人更有用。.  

工作量也更大。.  

MoE 模型減少的是運算能力，而不是模型總容量。

MoE 模型是模型效率和記憶體需求為何可以同時提升的另一個例證。 MoE 模型包含多個專家網絡，但每個詞元僅啟動其中的一個子集。這使得模型能夠在不每次計算都使用所有參數的情況下，提供更大的總容量。激活的參數數量可能相對較少，而完整的專家集仍然可能非常龐大。.  

即使大多數專家在任何給定時刻都處於非活動狀態，將所有專家駐留在 GPU 記憶體中也會消耗記憶體。減少駐留專家的數量可以節省內存，但當模型將令牌路由到某個專家時，系統需要載入該專家。.  

教育效率提升機制提高了運算效率，但不會讓不活躍的專家消失。.  

記憶正在形成一種層級結構。

應對記憶體限制的傳統方法是增加GPU顯存或系統DRAM。當整個工作負載必須以最高速度運行時，這仍然是最佳解決方案。然而，這種方法並非總是切實可行。.  

GPU 顯存價格昂貴且容量有限。工作站 DRAM 容量更大，但容量仍然有限。快閃記憶體容量更大，成本更低，但延遲比兩者都高。.  

真正重要的問題不是快閃記憶體是否像GPU記憶體一樣快——答案是否定的。真正的問題是，工作負載的每個部分是否都需要始終佔用最快的記憶體層級。.  

活躍模型資料和當前上下文需要快速存取。非活躍的 MoE 專家、舊的 KV 快取、可重複使用的提示前綴和預先計算的 RAG 內容可以駐留在更大的記憶體層中，直到需要時才使用。智慧地管理這些資源可以讓本機系統運作比其 GPU 和 DRAM 容量所能支援的更大或更長時間的工作負載。.  

Pascari aiDAPTIV 能提供哪些協助

Pascari aiDAPTIV 將有效的 AI 記憶體擴展到 GPU 記憶體、系統記憶體和高耐久性快閃記憶體。它與支援的 AI 運行時集成，使軟體能夠管理特定的 AI 數據，而不是將 SSD 視為通用系統儲存。根據工作負載和運行時，這些資料可以包括模型資料、MoE 專家、KV 快取或常用 RAG 內容的預計算 KV 條目。.  

這可以帶來以下幾個實際成果：  

• 運行模型，其完整權重超出可用 GPU 和系統記憶體的限制。  

• 動態載入 MoE 專家，而不是讓每個專家都常駐在本地。  

• 隨著會話數量的增長，保留更多的鍵值快取。  

• 當存在穩定的共享上下文時，重複使用先前計算的上下文。  

• 預先快取頻繁檢索的內容，以減少重複預填。  

• 無需添加GPU即可運行記憶體受限的微調工作負載  

其結果並不等同於在GPU記憶體中運行整個工作負載。效能取決於層級間的資料移動量以及工作負載對資料傳輸的頻率。但是，當其他替代方案包括縮減模型、縮短情境、限制並發性、增加GPU或完全不運行工作負載時，這種權衡就顯得尤為重要。.  

本地人工智慧正在擴張，而不是萎縮。

更小的模型將不斷改進，量化和記憶體壓縮技術也將隨之提升。這些進步將使功能日益強大的人工智慧能夠在個人電腦和工作站上運作。.  

開發者將利用這種效率優勢來完成更多工作。當工作負載需要更大的模型時，他們會選擇更大的模型。他們會使用更長的上下文，添加多模態輸入，連接更多工具，保留更多狀態，並同時運行更多工作負載。.  

記憶體效率提升擴展了本地人工智慧的功能，但並不意味著不再需要記憶體。相關的規模評估問題不再只是「模型有多大？」如今，問題變成了：  

整個工作負載需要完成哪些任務？一旦開始執行，它將需要多少記憶體？  

詳細了解 Pascari aiDAPTIV 以及用於本地 AI 工作負載的閃存加速內存擴展，或者  請聯絡 Pascari 銷售代表 今天。.