メモリがいっぱいになるとAIが性能低下する理由：キーバリューキャッシュ、コンテキスト、そして隠れた障害

KVキャッシュの増加がAI推論パフォーマンスをいかに静かに低下させるか、そしてなぜメモリを考慮したインフラストラクチャが現代のAIワークロードのスケーリングに不可欠になりつつあるのかを学びましょう。. 

AI推論のパフォーマンスは、GPUの演算能力の限界に達するずっと前に低下することがよくあります。これは、KVキャッシュの増大によって利用可能なメモリが消費されるためです。この記事では、メモリのボトルネックがレイテンシ、並列処理、スケーラビリティにどのように影響するか、そしてPascari aiDAPTIV™がGPU、システムメモリ、フラッシュメモリ全体にわたってメモリを最適化し、より効率的なAIインフラストラクチャを実現する方法について解説します。.

モダンな AIインフラストラクチャ GPUは、これまで以上に大規模なモデル、より長いコンテキストウィンドウ、そしてより多くの同時ユーザーを提供しています。しかし、多くの組織では、GPUが理論上の計算限界に達するずっと前に、推論パフォーマンスが低下し始めることに気づいています。応答時間が不安定になり、スループットが予期せず低下し、高価なハードウェア投資にもかかわらず、ユーザーはより遅い、あるいは信頼性の低いインタラクションを経験することになります。. 

原因は多くの場合、KVキャッシュメモリのボトルネックにある。. 

KVキャッシュは、言語モデルが新しいトークンを生成するために必要なアテンション状態を格納し、アクティブなコンテキストと同時リクエストが増えるにつれてメモリ要件も増加します。この要求が利用可能なGPUメモリに近づくと、システムは同時実行を減らしたり、リクエストを遅延または拒否したり、後で再構築する必要のある再利用可能なキャッシュデータを破棄したりする可能性があります。アプリケーションは、メモリ制限内に収まるように会話履歴を短縮することもあります。これらの変更は明らかなハードウェア障害なしに発生する可能性があるため、メモリ不足は推論パフォーマンスとユーザーエクスペリエンスを静かに損なう可能性があります。. 

デプロイする際に、なぜこのようなことが起こるのかを理解することがますます重要になってきています。 ローカルまたはプライベートなAIインフラストラクチャ. 部門、顧客、またはエッジロケーションに推論ワークロードを拡張するにつれて、メモリ管理はGPUのパフォーマンス自体と同じくらい重要になってきています。. 

関連記事：Phison社、フラッシュメモリ拡張によりローカルAI推論の規模を拡張

低速で不安定なAI推論の背後にある隠れた障害モード

インフラチームは、トラブルの明らかな兆候を探すことに慣れている。CPU使用率が急上昇する。ストレージがいっぱいになる。ネットワークリンクが飽和状態になる。これらの事象は比較的容易に特定し、トラブルシューティングを行うことができる。. 

AI推論時のメモリ飽和は異なる。. 

多くの実稼働中のAIシステムは、パフォーマンスが徐々に低下しながらも稼働を続けています。平均レイテンシは許容範囲内にとどまるかもしれませんが、テールレイテンシは劇的に上昇します。一部のリクエストはすぐに完了する一方で、他のリクエストは数倍の時間がかかります。スループットは不安定になり、ユーザーからはハードウェアの制限をすぐには示さないような、予測不能な動作が報告され始めます。. 

これは、表面上はインフラストラクチャが正常に見えるため、運用上の課題を生み出します。GPUは引き続きリクエストを処理し、アプリケーションはオンライン状態を維持しています。従来の監視ダッシュボードでは、多くの場合、妥当と思われる使用率が表示されます。. 

一方、ユーザーエクスペリエンスは悪化の一途を辿っている。. 

管理者がパターンを認識する頃には、同時処理されるAIリクエストの数が減っていたり、利用率が低下していたり、あるいはもっと早く返ってくるはずの応答を待っているユーザーから不満の声が上がっていたりする可能性がある。. 

企業全体でAIの導入が拡大し続けるにつれ、こうした些細なパフォーマンスの問題は、純粋な技術的な問題ではなく、ビジネス上の問題へと発展していく。.

関連記事：少ないGPUメモリでより多くのAIを実現する：Pascari aiDAPTIV™が今日のメモリ不足を克服するのにどのように役立つか

KVキャッシュの機能

AIのメモリ飽和がなぜこれほど深刻な問題になるのかを理解するには、KVキャッシュが実際に何を格納しているのかを理解することが役立ちます。. 

大規模言語モデル（LLM）は、プロンプトを処理するたびに、単語、文、および会話の以前の部分間の関係を理解するための内部表現を作成します。これらの表現はキーと値と呼ばれ、これらが組み合わさってKVキャッシュを形成します。. 

モデルがトークンを生成するたびにその情報を再計算するのではなく、キャッシュはそれをメモリに保持します。これにより、モデルは以前のアテンションデータを繰り返し再構築するのではなく再利用できるため、推論速度が劇的に向上します。. 

長大な技術マニュアルを読むことを想像してみてください。次のページに進む前に前の章をすべて読み返すのではなく、すでに学んだことを覚えておき、その理解を土台としてさらに知識を深めていくのです。.

LLM（法学修士）課程もほぼ同じように機能します。. 

課題は、この記憶領域が会話を通して増え続けることである。長いプロンプトほど、より多くのキャッシュされた注意データが必要となる。複数の会話を同時に実行すると、すぐにアクセス可能な状態にしておく必要のあるキャッシュ情報の量が大幅に増加する。. 

多くの組織は、AIインフラストラクチャを計画する際に、主にモデルサイズに注目します。しかし実際には、KVキャッシュはコンテキスト長と同時実行性の両方に応じて拡張されるため、予想以上に速く増大することがよくあります。導入が成熟するにつれて、GPUメモリを最も多く消費する要素の一つとなる可能性があります。. 

メモリが予想よりも早くいっぱいになる理由

より高性能なGPUを導入すれば、将来の成長に伴う課題が自動的に解決されると考えるのはよくあることだ。しかし実際には、モデルの性能向上は、メモリ需要をさらに急速に増加させる場合が多い。. 

現代のAIアプリケーションは、短いプロンプトとそれに続く簡潔な応答で構成されることはほとんどない。企業向けアシスタントは、長文の文書を分析し、契約書を要約し、ソフトウェアリポジトリをレビューし、広範な知識ベースにわたる質問に答え、数千トークンに及ぶ会話を維持する。. 

同時に、これらのシステムは多数のユーザーに同時にサービスを提供しています。アクティブなリクエストごとに独自のキーバリューキャッシュが保持されます。アクティブなリクエストが増えるごとに、システムのメモリ要件も増加します。会話が長引くと、やり取り全体を通してキャッシュが拡張され続けます。. 

これは、利用可能な計算リソースが十分に活用されていない場合でも、推論におけるGPUメモリのボトルネックを生み出す。. 

つまり、GPUにはまだ処理能力が残っている。ただ、すべてのアクティブなリクエストを効率的に処理できるだけのメモリ容量がもはや存在しないだけだ。. 

GPUを追加することで計算能力とメモリ容量は向上するが、メモリ容量によって制約されるワークロードに対処するには費用がかさむ可能性がある。. 

読む: 適切な AI モデル形式を選択して時間を節約し、パフォーマンスを向上させ、よりスマートなプロジェクトを構築しましょう

メモリを考慮したAIアーキテクチャの構築

将来のAI導入を計画する際には、GPUの仕様だけにとらわれず、より広い視野で考えることがますます重要になってきています。メモリを意識したAIアーキテクチャは、推論性能がコンピューティングリソースと利用可能なメモリのバランスに依存し、ワークロードの進化に合わせて両者が共に拡張できることを保証する必要があることを認識しています。. 

GPUメモリを固定的な制約として扱うのではなく、システムメモリやフラッシュメモリを追加のメモリ層として使用することで、実効メモリ容量を拡張できます。これらの層はGPUメモリよりも速度は劣りますが、容量は大幅に増加します。. 

その効果はワークロードによって異なります。保持データやプリキャッシュデータを再利用することで、システムが本来繰り返す必要のある処理を回避し、パフォーマンスを向上させることができます。また、ワークロードが本来収まらない場合でも、追加の容量によって、より大きなモデル、より長いコンテキスト、またはより多くの同時リクエストを実行できるようになります。. 

すべてのメモリ階層をGPUメモリのように動作させることがここでの目標ではありません。目標は、各階層が最大の価値を発揮する場面で活用し、データが再利用可能な場合はワークロードを高速化し、メモリがボトルネックとなっている場合は追加の容量を提供することです。. 

Pascari aiDAPTIV™がメモリ飽和問題にどのように対処するか

Phisonは、AIに必要なメモリとシステムで利用可能なメモリとの間の拡大するギャップに対処するために、Pascari aiDAPTIVを開発しました。. 

このソリューションは、aiDAPTIVミドルウェアとaiDAPTIVキャッシュメモリを組み合わせることで、GPUメモリ、システムメモリ、フラッシュメモリにまたがる特定のAIデータを管理します。これにより、ワークロードのすべての部分を最速かつ最も制限の厳しいメモリ層に留めておく必要なく、実効メモリ容量を拡張できます。. 

再利用可能なワークロードでは、保持または プリキャッシュされたKVデータ、aiDAPTIV 繰り返し計算を回避することで、レイテンシを削減できます。他のワークロードでは、より大きなモデル、より長いコンテキスト、またはより多くの同時リクエストをサポートするために必要な追加容量と引き換えに、パフォーマンスを多少犠牲にする場合があります。. 

これにより、AIインフラストラクチャを拡張する別の方法が提供されます。より大型で高価なGPU構成だけに頼るのではなく、より大きなメモリ階層を使用することで、一部のワークロードを高速化し、従来は実行できなかったワークロードを実行できるようになります。. 

再利用によってパフォーマンスが向上する場合  

aiDAPTIVがパフォーマンスを向上させる方法の一つは、事前にキャッシュされたKVデータを保持することで、システムが同じ事前入力作業を繰り返す必要がないようにすることです。. 

LG gram Pro 16インチAI PCでLlama 3.1 8Bを使用してテストしたところ、プリキャッシュされたKVデータを再利用することで、 最初のトークンまでの時間 8Kトークン入力の場合、58.38秒から0.69秒に短縮された。16Kトークン入力の場合、163.54秒から8.02秒に短縮された。.* 

この改善は、フラッシュメモリがGPUやシステムメモリよりも高速であることによるものではなく、繰り返し計算を回避することによるものです。aiDAPTIVは事前にプリフィル処理を実行し、結果として得られたKVデータを保持し、必要に応じて再利用できるようにします。. 

次世代AIインフラストラクチャの計画

多くの組織は依然として、AIインフラストラクチャの規模を主にモデルのパラメータやGPUの仕様に基づいて決定している。しかし、現状では、そうした測定方法は全体像の一部しか示していない。. 

コンテキストウィンドウが拡大し続け、より多くのユーザーが同時にAIに依存するようになるにつれて、メモリの挙動は長期的な推論性能を予測する上で最も強力な指標の一つとなる。. 

将来の導入を評価するインフラストラクチャチームは、GPUの数だけにとどまらない質問をすべきである。 

• • • コンテキストの長さは、時間の経過とともにメモリ消費量にどのような影響を与えるでしょうか？
    • 同時使用数が2倍になるとどうなるでしょうか？
    • メモリ使用率が上昇すると、パフォーマンスはどのように変化するのか？
    • そのアーキテクチャは、ハードウェアの全面的な交換を必要とせずに、将来的に拡張できる余地を提供しているか？

これらの質問に早期に答えることで、システムが本番規模に達した後に初めて明らかになることが多い、隠れたパフォーマンス上のボトルネックを回避するのに役立ちます。. 

メモリは、AIの応答性、効率性、拡張性を決定づける重要な要素となっています。この変化を今日認識し、対策を講じることで、組織は将来、ますます高性能化するAIアプリケーションをより適切にサポートできるようになります。. 

詳細はこちら Pascari aiDAPTIV または パスカリの営業担当者にお問い合わせください 今日。.  

( *テスト構成: Intel® Core™ Ultra 7 255Hプロセッサー、Intel® Arc™ 140Tグラフィックス、32GB LPDDR5X-8400メモリ、Windows 11、Llama 3.1 8B Q4_K_M、2TB Phison E28ブートSSD、およびaiDAPTIVキャッシュメモリ用の320GB Phison AI100 SSD。

よくある質問（FAQ）：