最近発表された業界書簡「オープンウェイトとアメリカのAIリーダーシップ」では、ダウンロード可能な学習済みAIモデルであるオープンウェイトモデルが、競争力があり広く利用可能なAIエコシステムに不可欠であると主張している。この書簡は説得力のある主張を展開している…。.

大規模なAIモデルの微調整では、計算能力が枯渇する前にGPUメモリが制約となることがよくあります。この記事では、重み、オプティマイザの状態、勾配、活性化関数がメモリ需要を増加させる理由、GPUを追加することが高価な回避策となる理由、そしてその対処法について説明します。.

KVキャッシュの増加がAI推論パフォーマンスを静かに低下させる仕組みと、メモリを考慮したインフラストラクチャが現代のAIワークロードのスケーリングに不可欠になりつつある理由を学びましょう。AI推論パフォーマンスは、GPUが計算能力の限界に達するずっと前に、KVの増加によって低下することがよくあります。.

エキスパート混合アーキテクチャは、トークンごとにモデルのパラメータのごく一部のみをアクティブ化することで、より大規模なモデル機能を実現します。そのため、ローカルAIに最適ですが、完全なモデルはメモリ上でアクセス可能な状態にしておく必要があります。その理由と….