為什麼記憶體填滿會導致人工智慧效能下降：鍵值快取、上下文和隱藏故障

了解 KV 快取成長如何悄無聲息地降低 AI 推理效能，以及為什麼記憶體感知基礎架構對於擴展現代 AI 工作負載至關重要。. 

由於不斷成長的鍵值快取會消耗可用內存，人工智慧推理效能往往在GPU達到運算極限之前就已經開始下降。本文將闡述記憶體瓶頸如何影響延遲、並發性和可擴展性，以及Pascari aiDAPTIV™如何幫助優化GPU、系統記憶體和快閃記憶體的記憶體使用，從而建立更有效率的人工智慧基礎架構。.

現代的 人工智慧基礎設施 如今，GPU 能夠提供比以往更大的模型、更長的上下文視窗以及更多的並髮用戶。然而，許多組織發現，在 GPU 達到其理論計算極限之前，推理效能就已經開始下降。響應時間變得不穩定，吞吐量意外下降，儘管投入了昂貴的硬件，用戶仍然會遇到交互速度變慢或可靠性降低的問題。. 

罪魁禍首通常是 KV 快取記憶體瓶頸。. 

鍵值快取儲存語言模型產生每個新詞元所需的注意力狀態，其記憶體需求會隨著活躍上下文和並發請求的增加而增長。當這種需求接近可用 GPU 記憶體時，系統可能會降低並發性、延遲或拒絕請求，或丟棄可重複使用的快取數據，這些數據之後必須重建。應用程式也可能縮短對話歷史記錄以保持在記憶體限制範圍內。由於這些變化可能在沒有明顯硬體故障的情況下發生，記憶體壓力會悄無聲息地降低推理效能和使用者體驗。. 

在部署過程中，了解這種情況發生的原因變得越來越重要。 本地或私有人工智慧基礎設施. 隨著您在各個部門、客戶或邊緣位置擴展推理工作負載，記憶體管理變得與 GPU 效能本身一樣重要。. 

閱讀：群聯電子透過快閃記憶體擴展提升本地AI推理能力

緩慢、不穩定的AI推理背後隱藏的故障模式

基礎設施團隊習慣尋找明顯的故障預警訊號，例如 CPU 使用率飆升、儲存空間被佔滿、網路連結飽和等。這些事件相對容易辨識和排查。. 

人工智慧推理過程中的記憶體飽和情況有所不同。. 

許多生產環境中的人工智慧系統仍在運行，但效能逐漸下降。平均延遲仍可接受，但尾延遲卻急遽上升。有些請求很快完成，而有些請求則需要數倍的時間才能完成。吞吐量變得不穩定，用戶開始報告一些無法預測的行為，而這些行為並不能立即指向硬體限制。. 

這造成了維運上的挑戰，因為基礎設施表面上看起來運作正常。 GPU 仍在處理請求，應用程式也保持在線。傳統的監控儀錶板通常顯示的使用率水準也看似合理。. 

與此同時，用戶體驗卻持續惡化。. 

當管理員意識到某種模式時，他們可能已經發現同時處理的 AI 請求減少、使用率降低，或者聽到沮喪的用戶抱怨他們一直在等待本應更早到來的回應。. 

隨著人工智慧在企業中的部署不斷擴大，這些細微的效能問題正日益成為業務問題，而不僅僅是技術問題。.

閱讀：用更少的GPU記憶體做更多AI：Pascari aiDAPTIV™如何幫助應對當今的記憶體短缺問題

KV緩存的作用

要了解為什麼 AI 記憶體飽和會成為一個如此重要的問題，了解 KV 快取實際儲存的內容會有所幫助。. 

每次大型語言模型（LLM）處理提示時，它都會建立內部表示，以便理解單字、句子以及對話先前部分之間的關係。這些表示稱為鍵和值，它們共同構成了鍵值快取（KV快取）。. 

模型每次產生新詞元時，快取機制不會重新計算注意力訊息，而是將其保存在記憶體中。這顯著加快了推理速度，因為模型可以重複使用先前的注意力數據，而無需重複重建。. 

把它想像成閱讀一本冗長的技術手冊。你不需要在翻到下一頁之前把前面的每一章都重新讀一遍，而是應該記住你已經學到的知識，並在此基礎上繼續深入理解。.

法學碩士的運作方式也大致相同。. 

問題在於，這種記憶會在整個對話過程中不斷增長。更長的提示需要快取更多的注意力數據。同時進行多個對話會倍增必須立即存取的快取資訊量。. 

許多組織在規劃 AI 基礎設施時主要關注模型規模。但實際上，鍵值快取的成長速度往往超出預期，因為它會隨著上下文長度和並發性的增加而擴展。隨著部署的成熟，它可能會成為 GPU 記憶體消耗最大的元件之一。. 

為什麼記憶體佔用速度比預期更快

人們通常認為，安裝更大功率的GPU就能自動解決未來的成長難題。然而，在實踐中，模型效能的提升往往會更快地增加記憶體需求。. 

現代人工智慧應用很少僅由簡短的提示和簡短的回應組成。企業助理能夠分析冗長的文件、總結合約、審查軟體倉庫、回答涵蓋龐大知識庫的問題，並進行跨越數千個令牌的對話。. 

同時，這些系統需要同時服務多個使用者。每個活躍請求都維護自己的鍵值快取。每增加一個活躍請求，系統對記憶體的需求就會增加。較長的會話會在整個互動過程中不斷擴展這些快取。. 

即使可用運算資源未充分利用，這也會導致 GPU 記憶體瓶頸，影響推理效能。. 

換句話說，GPU仍然有處理能力，只是記憶體不足，無法有效率地支援所有正在進行的請求。. 

添加 GPU 可以提供更多的運算能力和內存，但對於主要受內存容量限制的工作負載來說，這可能是一種昂貴的解決方法。. 

閱讀：選擇合適的 AI 模型格式，節省時間、提升效能並建立更聰明的項目

建構記憶感知型人工智慧架構

在規劃未來的AI部署時，您需要考慮的不再局限於GPU規格。記憶體感知型AI架構認識到，推理效能取決於運算資源與可用記憶體的平衡，同時也要確保兩者能夠隨著工作負載的演變而同步擴展。. 

與其將GPU記憶體視為固定限制，不如利用系統記憶體和快閃記憶體作為額外的記憶體層來擴展有效記憶體容量。這些記憶體層的速度雖然比GPU記憶體慢，但容量卻大得多。. 

收益取決於工作負載。重複使用已保留或預先快取的資料可以避免系統重複執行某些工作，從而提高效能。在其他情況下，額外的容量允許運行更大的模型、更長的上下文或更多並發請求，而這些資源原本無法滿足工作負載的需求。. 

讓每個記憶體層級都達到GPU記憶體的效能並非我們的目標。我們的目標是根據每個記憶體層級的價值最大化來使用它們：在資料可重複使用時加速工作負載，在記憶體成為瓶頸時提供額外的容量。. 

Pascari aiDAPTIV™ 如何解決記憶體飽和問題

Phison 開發了 Pascari aiDAPTIV，旨在幫助企業解決 AI 記憶體需求與系統可用記憶體之間日益擴大的差距。. 

該解決方案結合了 aiDAPTIV 中間件和 aiDAPTIV 緩存，用於管理跨 GPU 記憶體、系統記憶體和快閃記憶體的特定 AI 資料。這擴展了有效記憶體容量，而無需將工作負載的每個部分都保留在速度最快但容量最有限的記憶體層級中。. 

在可以重複使用保留或 預先緩存的KV數據，aiDAPTIV 可以透過避免重複計算來降低延遲。在其他工作負載中，它可能會犧牲一些效能來換取支援更大模型、更長上下文或更多並發請求所需的額外容量。. 

這為您提供了擴展 AI 基礎架構的另一種方法。您不必完全依賴更大、更昂貴的 GPU 配置，而是可以使用更大的記憶體層次結構來加快某些工作負載的速度，並啟用其他原本無法運行的工作負載。. 

重用可提高效能  

aiDAPTIV 提高效能的一種方法是保留預先快取的 KV 數據，這樣系統就不必重複相同的預填工作。. 

在LG gram Pro 16吋AI PC上使用Llama 3.1 8B進行測試時，重複使用預先快取的KV資料減少了 首次代幣到達時間 輸入 8K 個令牌時，耗時從 58.38 秒降至 0.69 秒。輸入 16K 個令牌時，耗時從 163.54 秒降至 8.02 秒。.* 

效能提升並非源自於快閃記憶體速度快於GPU或系統內存，而是源自於避免重複計算。 aiDAPTIV預先執行預填工作，保留產生的KV數據，並在需要時可供重複使用。. 

規劃下一代人工智慧基礎設施

許多組織仍然主要根據模型參數或GPU規格來評估人工智慧基礎設施的規模。但如今，這些衡量標準只能反映部分情況。. 

隨著上下文視窗不斷擴大，越來越多的使用者同時依賴人工智慧，記憶行為成為長期推理表現最強的預測指標之一。. 

基礎設施團隊在評估未來部署方案時，應該提出除了GPU數量之外的問題： 

• • • 上下文長度會如何影響記憶體消耗隨時間的變化？
    • 當並發使用量翻倍時會發生什麼事？
    • 隨著記憶體利用率的提高，效能會發生怎樣的變化？
    • 該架構是否提供了足夠的擴展空間，而無需進行大規模的硬體更換？

及早回答這些問題可以幫助您避免那些通常只有在系統達到生產規模後才會出現的隱性效能瓶頸。. 

記憶體已成為人工智慧響應速度、效率和可擴展性的關鍵因素。透過認識這項轉變並做好規劃，您的組織將能更好地為未來功能日益強大的人工智慧應用提供支援。. 

詳細了解 Pascari aiDAPTIV 或者 請聯絡 Pascari 銷售代表 今天。.  

( *測試配置: 英特爾® 酷睿™ 超極本 7 255H 處理器，Intel® Arc™ 140T 顯示卡，32 GB LPDDR5X-8400 內存，Windows 11，Llama 3.1 8B Q4_K_M，2TB Phison E28 啟動固態硬碟，以及 310 3213213000299093093000 309730909090990高速緩存）。

常見問題 (FAQ)：