サーバークローゼットまたは自宅で簡単でコスト効率の高い大規模言語モデル (LLM) の微調整が可能

Author アリン・マルヴェンターノ | 2024 年 3 月 17 日 | AI, 全て, 企業

中小企業 (SMB) は、ドメインのトレーニングと大規模言語モデル (LLM) の微調整に関して大きな課題に直面しています。クラウドサービスの高コスト、AI インフラストラクチャのセットアップの複雑さ、専門スタッフのトレーニングの必要性、電力要件、およびより高速で効率的な AI モデルトレーニングソリューションに対する需要の高まりが差し迫った問題となっています。クラウドからのデータのプライバシー、保持、制御は、意思決定プロセスにさらなる不確実性とストレスをもたらします。これらの課題により中小企業は不利な立場に置かれることが多く、競争上の優位性を得るために高度な AI テクノロジーを活用する能力が制限されます。

aiDAPTIV+ が SMB 微調整 LLM の困難にどのように対処するか

aiDAPTIV+ は、高額な価格や複雑さを伴うことなく LLM の力を活用したいと考えている中小企業にとって、ゲームチェンジャーとして登場します。コスト効率、プラグアンドプレイスタイルの使いやすさ、低消費電力を念頭に設計されたaiDAPTIV+ は、企業がワークステーションクラスのシステムで大規模なモデルを効果的にトレーニングできるようにします。大規模なインフラストラクチャや専門的なトレーニングの必要性がなくなることで、SMB は以前は手の届かなかった AI 主導のソリューションの革新と開発に集中できるようになります。

aiDAPTIV+ の仕組み

aiDAPTIV+ の中核となるのは、極めて耐久性の高い SSD の革新的な aiDAPTIVCache ファミリです。この ai100 SSD は NVMe オフロードを容易にし、わずか 2 ～ 4 個のワークステーションクラスの GPU と標準 DRAM で大規模なモデルの効率的なトレーニングを可能にします。これは、ストレージとコンピューティングリソース間のデータフローを最適化する aiDAPTIV 管理ソフトウェアによって補完され、パフォーマンスが大幅に向上し、トレーニング時間が短縮され、大規模なモデルトレーニングが可能になります。

標準化された性能

「AI基础建设不能假他人之手。」

~ NVIDIA 社長兼 CEO のジェンセンファン氏

Llama-2 モデルを使用した aiDAPTIV+ のパフォーマンスは、その効率と有効性の証拠です。単一エポックのトレーニング時間は、さまざまなモデルサイズにわたって大幅に短縮されました。

aiDAPTIV+ は線形スケーリングを使用して大規模なモデルをトレーニングします

シングルノード 4x GPU 構成のGPU と GPU + aiDAPTIV+の比較

これらの数字は、大量の計算タスクを迅速に処理する aiDAPTIV+ の現在の能力*を示しており、LLM を効率的かつ手頃な価格で微調整したいと考えている SMB にとって貴重な資産となっています。

このグラフでは、GPU だけでは Llama-2 13b および 70b のトレーニングを完了できないことがわかります。データセットが大きすぎて、GPU メモリのみに収まりません。これにより、トレーニングがクラッシュする障害が発生します。 aiDAPTIV+ はデータをスライスで管理して、管理可能な単位で GPU に供給し、高速フラッシュ上でデータを再コンパイルしてモデルを完成させます。

*テストシステムの仕様– CPU: Intel W5-3435X |システムメモリ: 512GB DDR5-4400 Reg ECC | 4x NVIDIA RTX 6000 ADA |ワークロード用の 2x Phison aiDAPTIVCache 2TB SSD

クラウドと aiDAPTIV+ テクノロジーの比較

従来のクラウドベースの AI トレーニングソリューションと比較すると、aiDAPTIV+ はいくつかの重要な領域で際立っています。

コスト: aiDAPTIV+ はコスト効率が大幅に向上し、クラウドサービスに関連する高額な費用が不要になります。

データプライバシー: aiDAPTIV+ は、オンプレミスでのトレーニングを有効にすることで、機密データが企業独自のインフラストラクチャの安全な範囲内に確実に保持されるようにし、重大なデータプライバシーの懸念に対処します。

所有権: aiDAPTIV+ は完全な制御と柔軟性を提供し、カスタマイズとアップグレードのためのハードウェアへの直接アクセスにより、サードパーティサービスへの依存を軽減し、繰り返し発生するクラウドコストと比較して ROI を向上させます。

これらの利点により、aiDAPTIV+ は、より手頃な価格のソリューションであるだけでなく、貴重なデータの保護に熱心な企業にとって、より安全で信頼性の高い選択肢になります。

aiDAPTIV+ は、AI と機械学習の急速に進化する状況の中で競争力を維持しようと努めている中小企業にとって、大きな進歩を表します。 aiDAPTIV+ は、LLM をトレーニングするための低コストで使いやすく効率的なソリューションを提供することで、あらゆる規模の企業が大規模なリソースやインフラストラクチャを必要とせずに高度な AI テクノロジーを活用できるようにします。 aiDAPTIV+ により、AI の力がこれまで以上に利用しやすくなり、SMB はサーバークローゼットの中で新たな機会を開拓し、イノベーションを推進できるようになります。

現在サポートされているモデル

- - ラマ2 7,13,70B
  - ラマ33B
  - ビクーニャ 33B
  - ファルコン180B
  - コードラマ 7B、34B、70B
  - ウィスパーV2、V3
  - メタフォーマー m48
  - クリップ大
  - レスネット 50、101
  - ディートベース
  - ミストラル 7B
  - タイデ7B