人工智慧的記憶牆：為什麼人工智慧電腦跟不上需求

隨著人工智慧個人電腦數量的增加和人們期望的提高，一個被忽視的限制因素正在悄悄決定本地人工智慧究竟能走多遠。.

人工智慧電腦正在迅速普及. 矽晶片的發展路線圖雄心勃勃，軟體棧日趨成熟，用戶對本地部署人工智慧的期望也與日俱增。如今，用戶希望他們的筆記型電腦和邊緣設備能夠獨立完成推理、感知、聆聽和行動，而無需等待雲端伺服器的回應。而人工智慧工作負載本身的複雜性發展速度甚至超過了這些期望。. 

雄心壯志與建築理念之間的差距正是在這裡 人工智慧記憶牆 問題顯現出來。雖然運算效能持續提升，但裝置記憶體的成長速度並未跟上現代人工智慧在執行過程中的運行速度。這並非啟動時規格設定的問題，也不是簡單的運算能力不足。這是一個運行時問題，隨著模型運行時間的延長、輸入資料的豐富程度的提高以及狀態的不斷積累，這個問題就會逐漸顯現。. 

人工智慧的記憶牆大約是 工作記憶耗盡. 人工智慧系統在運作過程中出現故障或效能下降的情況日益增多，並非因為無法啟動，而是因為無法持續運作。當記憶體中途填滿時，工作負載就會停滯、崩潰，或是被迫依賴雲端，違背了本地人工智慧的初衷。. 

解決這個挑戰並非增加運算能力或擴容儲存那麼簡單，而是需要重新思考在DRAM達到極限後如何擴展AI的工作記憶體。. 

閱讀：群聯電子透過快閃記憶體擴展提升本地AI推理能力

為什麼人工智慧工作負載會隨著時間的推移消耗更多內存

人工智慧工作記憶體的擴展是近年來才出現的趨勢。早期的人工智慧推理以今天的標準來看非常簡單：模型載入、處理提示、返回答案，然後退出。記憶體使用量會短暫飆升，然後下降。這種模式已經無法反映人工智慧系統的建構和使用方式。. 

現代人工智慧工作負載會持續累積記憶體壓力。隨著執行的進行，需要保持記憶體中儲存並可存取的資料越來越多。這種轉變是由以下幾個相互疊加的趨勢所驅動的： 

推理模型和爆炸性代幣成長

推理模型比傳統推理模型產生更多的內在狀態。它們並非簡單地預測下一個詞元就會繼續進行，而是保留中間步驟、部分結論以及支持更深層推理鏈所需的上下文資訊。. 

產業觀察 英偉達 數據顯示，內部令牌產生量每年約成長五倍，而模型本身的規模成長速度更快，每年成長十倍。更大的上下文視窗允許模型引用更多信息，但也增加了模型運行時必須駐留在記憶體中的資料量。. 

隨著推理深度的增加，記憶體佔用也會增加。中間標記、鍵值快取和擴展注意力機制都會在運行時累積。模型推理的時間越長，消耗的記憶體就越多。. 

長時間運行的代理會改變記憶體分佈。

另一個根本性的轉變是持續性人工智慧代理的興起。這些代理不再回應單一請求，而是持續運作。一些科技業的頂尖企業，例如… 亞馬遜 和 人類學 已經推出了可以運行數小時甚至數天的代理。. 

持久化智能體必須保留狀態，包括累積的脈絡、先前的決策、任務歷史和不斷變化的目標。與短暫的推理調用不同，這些資訊不能隨意丟棄，否則會破壞連續性。隨著智能體的運行，記憶體使用量會穩定成長。. 

在人工智慧電腦上，這種行為很快就會與固定的DRAM記憶體限制發生衝突。即使是功能簡單的智能體，也可能在任務完成之前就耗盡可用工作記憶體。. 

視覺和視訊人工智慧倍增記憶體需求

多模態人工智慧進一步推高了記憶體需求。視覺和視訊輸入的資料量遠超過文字。短短幾秒鐘的視頻，經過幀處理和嵌入後，就可能轉化為數萬甚至數十萬個標記。. 

視覺處理流程需要同時處理大量資料。幀、嵌入、空間特徵和時間上下文必須保持可存取狀態，以維持資料的連續性和準確性。與靜態影像不同，影片增加了一個累積狀態的維度。. 

隨著人工智慧電腦承擔即時視覺任務，記憶體壓力變得不可避免。這並非個例，而是多模態人工智慧運作原理的直接結果。. 

問題的規模

人工智慧的記憶體障礙並非紙上談兵，它正在與市場現實發生碰撞。人工智慧個人電腦的普及速度驚人，且影響深遠。處理器供應商、原始設備製造商和平台合作夥伴都在積極佈局，頻繁發佈公告，將人工智慧個人電腦定位為下一代標準運算平台。這清晰地表明，本地人工智慧已經準備就緒，整個產業都已全力投入。. 

不太為人所知的是，這些預期與這些系統內部實際的記憶體容量之間存在著多麼巨大的差距。儘管行銷專注於人工智慧加速和設備端智能，但現代人工智慧工作負載帶來的記憶體壓力成長速度遠超大多數人工智慧PC的設計承受能力。發布會上的熱情掩蓋了這些系統預期性能與其實際配備的可用記憶體之間存在的根本性失衡。. 

例如，像…這樣的大型科技公司 英特爾 和 AMD 已發布數百款人工智慧個人電腦設計方案。這些系統旨在為消費者、企業和邊緣環境中的本地人工智慧應用奠定基礎。 2024年，, 聯想 預測顯示，到 2027 年，人工智慧 PC 可能佔新 PC 銷量的 80%。這項預測凸顯了這項挑戰將變得多麼普遍。. 

事實上，大多數人工智慧PC的DRAM容量為16至32GB。即使是高階配置，DRAM容量也往往難以超過64GB，而實際升級的上限通常最多也只能達到96GB左右。同時，DRAM供應的限制和價格壓力迫使廠商減少而非增加記憶體容量。成本、耗電量和外型尺寸等因素都阻礙了大眾市場系統DRAM容量的大幅提升。. 

其結果是差距日益擴大。人工智慧工作負載正以驚人的速度成長，而記憶體配置卻基本上保持不變。. 

為什麼人工智慧電腦不能回退到雲端

當本地資源耗盡時，將記憶體密集型工作負載卸載到雲端似乎是理所當然的選擇。然而，在實踐中，這種做法卻違背了人工智慧個人電腦的核心價值主張。. 

隱私和資料控制  

許多人工智慧個人電腦應用場景都旨在將資料保留在本地。個人資訊、企業資料和醫療保健工作負載通常無法離開設備，否則會引發合規性和信任問題。將運行時狀態傳送到雲端會破壞這些保障。一旦執行依賴外部基礎設施，資料主權就會受到損害。. 

延遲和即時交互 

本地人工智慧需要即時回應。無論是個人助理、創意工具或即時視覺系統，反應速度都至關重要。當記憶體溢出導致系統遷移到雲端時，延遲就會變得難以預測。即使是微小的延遲也會影響使用者體驗，使系統顯得不可靠。. 

成本和可預測性 

雲推理費用隨使用量增加而增加。長時間運行的代理程式和多模態工作負載使得成本難以預測。最初看似方便的功能，很快就會演變成預算風險。. 

人工智慧電腦旨在提供穩定、可預測的效能。而回退到雲端則會引入不穩定因素，這是許多用戶無法接受的。. 

AI PC中DRAM的局限性

如果雲端不是解決方案，人們通常會想到增加DRAM記憶體。但這種方法也存在諸多限制。. 

運輸配置及物料清單實際狀況 

人工智慧個人電腦受限於物料成本、功耗預算和實體設計。記憶體通常採用焊接方式或受平台架構限制。即使有記憶體插槽，增加DRAM容量也會顯著提高系統成本和功耗。. 

升級上限和收益遞減 

升級記憶體的效果只能在一定程度上提升效能。用戶很快就會遇到平台設計、供貨狀況或價格限制所帶來的瓶頸。高容量DRAM記憶體條價格昂貴且日益稀缺。超過一定閾值後，每增加1GB記憶體的成本就難以體現其合理性。. 

供應壓力加劇了缺口 

全行業的DRAM短缺進一步加劇了人工智慧發展目標與記憶體供應之間的不匹配。隨著伺服器、資料中心和消費性電子設備的需求不斷增長，人工智慧PC也在爭奪有限的記憶體供應。. 

僅依靠DRAM並非一條可擴展的發展道路。. 

為什麼單靠儲存無法解決人工智慧的記憶牆問題

針對人工智慧電腦的記憶體壓力，最常見的應對措施之一是假設更大容量或更快速度的固態硬碟可以彌補動態記憶體的不足。但一旦深入分析人工智慧的執行過程，就會發現這種假設並不成立。. 

人工智慧工作負載依賴工作內存，而非海量儲存。在執行過程中，模型依賴於模型權重、上下文視窗、鍵值快取和長時間運行的代理狀態等活躍資料。這些資訊必須始終以低延遲和高頻寬可用。雖然固態硬碟 (SSD) 擅長儲存大量數據，但它們並非設計用於作為持續可存取的工作記憶體。. 

這種區別在運行時尤其重要。當人工智慧工作負載在執行過程中耗盡可用記憶體時，它無法簡單地將資料溢出到冷儲存中並繼續不間斷地運行。將活動狀態移出工作記憶體會引入延遲，導致執行停滯或失敗。在許多情況下，由於關鍵的運行時資料無法立即訪問，工作負載會完全崩潰。. 

這就是為什麼僅僅增加儲存容量並不能從根本上擴展人工智慧工作負載的原因。儲存可以保存模型、資料集和檢查點，但它無法取代工作記憶體的作用，尤其是在模型進行推理、智能體運行或多模態管道處理即時輸入時。. 

解決人工智慧記憶體牆問題需要確保運行時狀態在記憶體不斷增長的情況下仍然可用且響應迅速。如果沒有這種能力，增加儲存空間只會增加理論上的容量，而實際執行仍然會失敗。. 

群聯電子的 aiDAPTIV 技術如何提供協助

我們的 aiDAPTIV 技術正是基於這種建築現實而設計的。. aiDAPTIV 可將個人電腦或工作站轉變為私有的、本地部署的企業級 AI 實驗室，即插即用，設定簡單。它支援端到端的 AI 體驗，涵蓋資料攝取、模型訓練和微調、檢索增強生成等各個環節。會議，討論經濟實惠的日常設備。.  

當DRAM記憶體滿時，擴充AI工作記憶體。 

aiDAPTIV 在 DRAM 達到容量上限時管理 AI 特有的運行時資料。它擴展了 AI 的可用工作內存，而不是充當通用存儲。透過智慧處理溢出，即使記憶體已滿，它也能確保 AI 工作負載繼續執行，而不會失敗。. 

實現本地人工智慧連續性 

這種方法使智能體、推理模型和多模態工作負載能夠在本地運行，而無需依賴雲端。執行過程保持在地化、可預測和私密。它彌補了那些專注於資料中心環境的解決方案（例如記憶體擴展方法）所存在的不足，這些方案無法應用於人工智慧個人電腦或邊緣系統。. 

專為滿足現實世界人工智慧PC的限製而設計 

aiDAPTIV 專為記憶體固定或有限的環境而設計。這包括採用焊接式 DRAM 的 AI PC、隨時間累積上下文資訊的個人 AI 代理、對隱私高度敏感的企業工作負載以及沒有升級路徑的邊緣系統。其重點在於性能的持續性，而非峰值基準測試。. 

本地人工智慧的未來發展之路

人工智慧個人電腦效能不足並非因為運算能力有限，而是遇到了執行過程中出現的記憶體行為問題。. 

隨著模型規模擴大、代理持續存在以及多模態工作負載的增加，工作記憶體成為瓶頸。增加儲存空間並不能解決問題，而單單增加DRAM也無法持續。. 

解決人工智慧記憶體瓶頸需要擴展人工智慧的工作內存，使其與現代人工智慧的實際運作方式相符。群聯電子的aiDAPTIV技術正是基於這種架構理念，使各種規模和預算的組織都能實現本地人工智慧。. 

下一階段的本地人工智慧將以記憶體連續性為特徵。能夠確保人工智慧可靠運作的系統，將為人工智慧個人電腦的真正能力樹立標竿。. 

常見問題 (FAQ)：