專家混合模型（MoE）減輕了本地人工智慧的運算負擔：但記憶體方面卻並非如此。

混合專家架構能夠處理更大規模的模型，同時每個令牌僅啟動模型的一小部分參數。這使其非常適合本地人工智慧，但完整的模型仍然需要駐留在記憶體中。本文將解釋這一點的重要性，以及如何在不升級到更高記憶體系統的情況下運行更大規模的混合專家模型。.

不久前，在自有硬體上運行人工智慧模型意味著只能得到一個功能尚可但較為簡單的聊天機器人。它可以回答問題和總結文本，但真正重要的工作——推理、編碼、智能體建構——仍然由雲端完成。.  

這種情況正在迅速改變。如今的本地模型能夠處理多步驟問題、編寫和調試程式碼、調用外部工具、理解圖像和文檔，並驅動代表你工作的自主代理。資料中心運作的系統與工作站運作的系統之間的差距正在迅速縮小。. 

這種轉變很大程度上要歸功於一種名為「專家混合模型」（Mixture of Experts，簡稱 MoE）的架構，它透過減輕運算負擔，使這些更強大的模型能夠在 GPU 資源有限的桌上型電腦和工作站上運行。.

閱讀：智能體人工智慧正變得實用：本地系統仍需更多內存

為什麼教育部模型天然適合本地人工智慧

傳統模型是密集型的，這意味著模型中的每個參數都會參與產生每個輸出標記。由於每次請求都需要整個模型進行計算，因此計算成本與模型規模有直接關係。這對桌面系統來說是一個棘手的問題，因為它們很少擁有資料中心層級的GPU算力。. 

MoE模型採用了不同的方法。在這種模型中，一個較大的模型被劃分成若干個稱為「專家」的專門子網路。每個專家在訓練過程中都會發展出自己的專注領域，並根據接收的資料學習不同的內部模式和表示。一個小型路由網路決定由哪個專家處理每個詞元，只有這部分專家會被啟動。模型的其餘部分在這一步驟中處於空閒狀態。. 

其結果是，無需每次都計算所有參數，即可實現更強大的模型能力。換句話說，MoE 模型可以承載大型模型的知識和技能，而每次呼叫時僅啟動其部分參數。這對於運算能力可能有限的本地 AI 而言是理想之選。.   

專為目前人工智慧的使用方式而設計

新的 MoE 模型展示了這一發展方向。以Google的 Gemma 4 26B A4B 為例。根據… 谷歌的文檔, 該模型總共包含 260 億個參數，但每個 token 僅啟動 40 億個參數，因此其每個 token 的計算負擔遠低於規模相近的密集模型。谷歌將其定位為面向消費級 GPU 和工作站，並內建推理模式、最大 25.6 萬個 token 的上下文視窗、圖像理解功能、更強的編碼性能以及原生函數呼叫（能夠調用外部工具和應用程式），從而為自主代理提供支援。. 

換句話說，過去需要雲端 API 才能實現的功能，現在都打包到了桌面端。而且，這些功能直接對應著人們實際希望本地 AI 實現的功能：例如 OpenClaw 和 Hermes 等個人 AI 代理、編碼助理、對個人文件進行私人 RAG 管理、文件分析、研究和規劃任務以及工作流程自動化。. 

在本地運行這類工作負載有很多優點。您的資料保留在本地硬體上，這對於隱私和合規性至關重要。由於無需透過互聯網傳輸數據，延遲是可預測的。無需支付每個令牌的 API 費用。而且，您可以完全掌控模型、版本和堆疊。. 

但問題在於：MoE 型號的體積並沒有縮小。

人們很容易認為，一個只啟動 40 億個參數的模型只需要相當於 40 億個參數的記憶體。事實並非如此。. 

此模型的路由網路會為不同的令牌選擇不同的專家，因此必須始終提供完整的專家集。谷歌自己的 文件 這清楚地表明：雖然 Gemma 4 26B A4B 每個令牌僅啟動 40 億個參數，但為了保持路由和推理速度快，所有 260 億個參數都必須載入到記憶體中。. 

因此，雖然 MoE 減少了活躍運算量，但並沒有縮小記憶體佔用。在 Phison 的測試配置中，運行 Gemma 4 26B A4B 且不進行任何記憶體卸載，大約需要 23.5GB 的系統記憶體——這輕鬆超過了 16GB 系統的記憶體容量。隨著 MoE 型號性能的不斷提升，它們的體積也會不斷增大，最終超過它們原本要支援的本地機器的 GPU 和系統記憶體容量。. 

隨著教育部的介入，本地人工智慧面臨的新瓶頸是記憶體。. 

閱讀：用更少的GPU記憶體做更多AI：Pascari aiDAPTIV™如何幫助應對當今的記憶體短缺問題

Pascari aiDAPTIV™ 如何幫助教育部

Pascari aiDAPTIV™ 是群聯電子的AI記憶體管理技術。它將可用的AI記憶體擴展到三個層級：GPU記憶體、系統DRAM和基於NVMe SSD的aiDAPTIV快取記憶體。. 

其動態混合模型 (MoE) 功能將該架構直接應用於專家混合模型。 aiDAPTIV 並非要求每個專家永久駐留在 GPU 或系統記憶體中，而是將專家視為動態快取單元。路由網路所需的專家保存在 GPU 記憶體中進行運算，而其餘專家可以快取在系統 DRAM 中，或卸載到 aiDAPTIV 快取中，並根據模型路由決策的變化按需載入。. 

例如，運行 Gemma 4 26B A4B 通常需要 23.GB 記憶體——其中 15GB 用於模型權重，8.5GB 用於鍵值快取、運行時、作業系統和應用程式。而 aiDAPTIV 將部分模型資料卸載到快取中，系統記憶體佔用量降至 15.9GB。卸載的專家資料現在儲存在 SSD 上，僅在路由網路需要時才載入。這使得原本 16GB 系統無法處理的工作負載現在也能輕鬆應付。. 

然而，我們必須承認，這其中存在著權衡。在不同記憶體層級之間移動專家模型可能會增加延遲並降低吞吐量。具體影響程度取決於工作負載。重複查詢（即重複使用相同的專家模型）通常效能較佳，而跨域任務則會更依賴快取。但是，對於當今驅動本地 AI 的工作負載——例如智慧體工作流程、編碼助理、私人 RAG（紅黃綠藍綠）、文件分析以及研究和規劃任務——模型的功能比峰值令牌速度更為重要。群聯電子的 aiDAPTIV 技術能夠讓您在現有硬體上運行更強大的模型。. 

深入了解：動態 MoE 的實際運作方式

本文介紹了動態 MoE 的功能。我們的技術團隊開發了 白皮書 它會解釋它的工作原理以及運行它時會發生什麼，包括： 

• • • 專家資料如何分佈在GPU記憶體、系統DRAM和快取中，以及它們在推理過程中如何在不同層級之間移動。
    • 當路由網路需要呼叫不在 GPU 記憶體中的專家時會發生什麼事？這會造成多大的延遲？
    • 快取和驅逐策略如何使常用專家保持與計算的緊密聯繫
    • 哪些工作負載模式效能最佳？其優缺點是什麼？ 

記憶體是決定係統能夠運行哪些模型的瓶頸。這份白皮書詳細闡述了GPU記憶體、系統DRAM和SSD吞吐量各自貢獻的資源，以便您可以根據所需的模型來配置系統，而不僅僅是選擇一個勉強能運行的模型。.  

想了解更多？ 

下載 aiDAPTIV 動態 MoE：用更少的記憶體運行更大的 MoE 模型 深入了解 MoE 架構、智慧記憶體分層，以及 aiDAPTIV Dynamic MoE 如何讓更大的 AI 模型能夠在 GPU 記憶體有限的系統上運作。.  

常見問題 (FAQ)：