優化大型模型的隱性成本：為什麼增加GPU數量並非萬能答案

在運算能力耗盡之前，對大型 AI 模型進行微調往往會受到 GPU 記憶體的限制。本文解釋了權重、優化器狀態、梯度和激活值為何會驅動記憶體需求，為何添加 GPU 可能是一種成本高昂的權宜之計，以及 Pascari aiDAPTIV™ 如何將有效 AI 記憶體擴展到 GPU 記憶體、DRAM 和快閃記憶體之間。.

深入了解是什麼因素真正驅動了 GPU 微調方面的支出，以及不同的解決方案。.

隨著組織進行微調 更大型號, 一個熟悉的模式不斷出現：任務所需的 GPU 數量似乎成長得比任務實際所需的運算量更快。團隊評估微調運行的規模，研究如何使其滿足需求，最終發現瓶頸根本不是處理能力，而是記憶體。. 

為什麼微調需要這麼多內存

微調模型不僅需要空間來存放模型的權重。訓練狀態還會佔用更多空間，因此有必要詳細分析這些空間都用在了哪裡。. 

優化器狀態通常是最大的附加元件。 Adam 及其變體（大多數微調任務的預設選擇）會持續更新模型中每個參數梯度的一階矩和二階矩的估計值。實際上，這意味著僅優化器本身就可能需要模型權重兩到四倍的記憶體佔用，具體取決於精度以及優化器狀態是否在模型以混合精度運行時也保持全精度。. 

梯度會增加參數數量的完整副本。激活值（即前向傳播過程中計算並保留以便在反向傳播中使用的中間輸出）的大小取決於批次大小和序列長度，而不僅僅是模型大小。這就是為什麼在小批次大小下運行良好的任務，一旦批次大小或上下文長度增加，就會突然耗盡記憶體的原因。. 

將這些因素——權重、優化器狀態、梯度和激活值——疊加起來，微調模型所需的總記憶體佔用量可能是模型檢查點在磁碟上大小的五到十倍。對於較小的模型，這種開銷很容易承受。但隨著參數數量攀升至數百億，總記憶體需求很快就會超過單一GPU（無論其效能多強大）的容量。 記憶壓力, 這不是計算能力不足的問題，而是在訓練運行開始之前就出現了問題。. 

預設的解決方法是增加GPU數量。

當組織遇到這種瓶頸時，本能的反應是增加GPU數量。利用張量並行、管線並行或完全分片資料並行（FSDP）訓練等技術，將模型、優化器狀態和啟動值分佈到多個GPU上，叢集的總記憶體就能彌補單一GPU的不足。這是一個合乎邏輯且易於實現的方案，因為大多數現代訓練框架都基於這樣的假設：記憶體限制可以透過增加設備來解決。. 

這種方法行之有效，這也是為什麼用於微調的GPU叢集會隨著訓練模型的規模而同步成長的原因。需要微調300億或700億參數模型的團隊會使用8個甚至16個GPU，這主要是因為需要這麼多GPU才能達到足夠的總內存，而不是因為計算本身需要如此多的平行運算能力。. 

不過，值得停下來思考一下這種方式究竟解決了什麼問題。增加GPU的主要目的並非是提高運算吞吐量，而是因為GPU記憶體恰好是擴展容量的唯一途徑，而且在大多數硬體上，記憶體和運算能力都是捆綁銷售的。想要更多內存？無論你是否需要，你都會獲得更多運算能力。. 

這種方法的局限性

這種捆綁式配置會產生實際且可衡量的成本。當微調作業受限於記憶體而非運算能力時（這種情況很常見，尤其是在批次大小適中或序列長度較長的作業中），為解決記憶體問題而引入的額外 GPU 所承載的運算能力卻大部分處於閒置狀態。使用率儀錶板上的資料看起來不錯，但實際上叢集中相當一部分實際處理能力處於閒置狀態，遠低於作業理論上可以使用的運算能力，因為作業最初就不是運算能力受限的。. 

這點體現在整個成本結構中，而不僅僅是GPU的採購價格。每增加一塊GPU，都會增加部署的功耗和散熱負荷，無論其運算能力是否充分利用。它還會增加機架空間和網路架構的需求。此外，還需要額外配置、監控和維護一台設備。雖然這些支出並非完全浪費，因為實際任務確實需要這些內存，但其中相當一部分費用實際上是為原本並非實際需求的計算能力買單。. 

這是一個結構性問題，而不是規劃或採購方式的問題。只要記憶體和運算在硬體層面上捆綁在一起，團隊就無法解決這些問題。 內存容量 他們將繼續為他們不需要的運算能力付費，而且隨著模型規模的增大和訓練狀態記憶體與原始模型大小的比率的增加，這種差距往往會擴大。. 

另一種思考記憶容量的方式

正是在這裡，將記憶體與 GPU 硬體分離成為一種真正不同的方法，這也是 Pascari aiDAPTIV 背後的理念。. 

該解決方案並非將 GPU 記憶體作為微調任務的唯一可用資源，而是結合了 aiDAPTIV 中間件和 aiDAPTIV 緩存，將有效 AI 記憶體擴展到三個層級：GPU 記憶體、系統 DRAM 和專用的基於快閃記憶體的快取層。中間件位於訓練框架和這個擴展的記憶體池之間，即時決定哪些資料需要立即保留在高速 GPU 記憶體中，哪些資料可以移動到 DRAM 或閃存，並在需要時立即恢復。原本需要額外 GPU 才能儲存的模型權重、優化器狀態和啟動值，現在可以分佈在這個更大的有效記憶體池中，並透過協調機制確保 GPU 仍然擁有所需的資源以繼續運算。. 

實際效果是，微調作業的記憶體佔用不再僅僅受限於GPU的實體記憶體。以前需要增加GPU數量才能達到足夠總記憶體的工作負載，現在只需一小部分硬體即可運行，因為記憶體上限不再由GPU硬體單獨決定，而是由GPU記憶體、DRAM和快取的綜合容量決定。. 

這種轉變會產生一些值得逐一提及的具體後續影響： 

降低基礎設施成本  
GPU 數量越少，意味著前期硬體採購或租賃規模越小，連接它們的網路架構越少，以及在專案生命週期內需要配置和維護的部署規模越小。.

降低峰值功率和冷卻需求  
由於任何給定時刻處於活動狀態的 GPU 數量較少，峰值 功耗和冷卻負荷 部署規模也隨之縮小。這一點需要明確說明，因為它與降低作業的總能耗是不同的概念。尖峰負載，即設施在任何特定時間點必須支援的最大功率，會降低。完成作業所消耗的總能耗是單獨計算的，而且由於運行時間更長，總能耗並不一定更低。 aiDAPTIV 改變的是您需要預留的空間大小，而不是特定微調運行的總能耗。.

坦白說，這的確是一種權衡。  
由於實際執行計算的GPU數量較少，且在DRAM和快閃記憶體層之間移動資料需要時間（而完全在GPU記憶體中運行的作業則無需如此），因此這些運行的完成時間比在記憶體充足的大型GPU叢集上要長。這並非權宜之計或隱藏成本，而是直接的資源交換。對於那些GPU資本成本、可用性或實體空間佔用是主要限制因素，且可以接受更長完成時間的企業而言，這是一個簡單的權衡，它允許對工作負載進行微調，而這些工作負載原本需要更大的硬體投資。對於那些需要在嚴格的截止日期前完成任務，而GPU數量從未成為瓶頸的團隊而言，在進行切換之前，值得仔細權衡這種利弊。.

無需增加成本即可對更大的模型進行微調

用 GPU 擴充來解決記憶體問題是可以理解的。這是最常見的方法，並且有成熟的工具支援。但值得注意的是，這種做法通常只是針對記憶體限制（而非計算限制）的一種昂貴的權宜之計，其成本增長速度遠超工作負載的實際計算需求。像 aiDAPTIV 這樣的方法指明了一條不同的道路：直接解決記憶體容量問題，根據實際運算需求來調整 GPU 數量，並在完成時間方面做出明確的權衡，從而降低基礎設施成本。.

詳細了解 Pascari aiDAPTIV 或者 請聯絡 Pascari 銷售代表 今天。.

常見問題 (FAQ)：