5. NVIDIA、Dynamo推論基盤をKubernetesで再現するAICR Recipeを解説
記事公開：2026年10月30日｜分散LLM推論の実装ガイド
NVIDIAは、AI Cluster Runtime（AICR）の検証済みRecipeを使ってDynamoの分散推論環境をKubernetesに展開する方法を公開しました。モデルサーバーだけでなく、GPUドライバー、GPUの割当て、gang scheduling、ノード監視、Gateway APIなどの構成要素を整合させます。
なぜ重要か
LLMの本番運用では、モデルが起動するだけでは不十分です。KV-cacheの再利用、ワーカー配置、リクエスト経路、障害検知まで含めた再現性が、長い会話やAgentic Workflowの応答時間と運用安定性に影響します。
開発者向け：API・構築手順
| 項目 | 公式記事の内容 |
|---|---|
| API | DynamoGraphDeployment CRD（nvidia.com/v1beta1）、AICR CLI |
| バージョン | AICR v1.0.0の検証済みRecipeはDynamo Platform 1.4.2を固定 |
| GPU | NVIDIA GPU Operator、DRA Driver、Node Feature Discovery |
| スケジューラ | KAI Scheduler、Grove |
| 監視 | Prometheus、NVSentinel等 |
| 経路1 | Dynamo FrontendがKV-cacheと負荷を考慮してワーカーへ転送 |
| 経路2 | Gateway API＋EPPがワーカーを選び、GatewayがHTTPを転送 |
| 評価対象 | EKS上のGB200/GB300 NVL72向け構成 |
| 料金 | OSS自体の統一料金なし。GPU/EKS/ネットワーク/監視は別途 |
bashaicr snapshot --namespace aicr-validation --output snapshot.yaml
aicr recipe --snapshot snapshot.yaml --intent inference --platform dynamo --output recipe.yaml
aicr validate --recipe recipe.yaml --snapshot candidate-snapshot.yaml --no-cluster --output dry-run.jsonAICRはRecipeに構成要素のバージョン・互換性制約・検証項目を記録します。Kubernetes上でDynamoGraphDeploymentを投入する前に、GPU割当て、スケジューリング、Ingress、監視の適合性を検証できます。性能： KV-cache-aware routingによる再計算削減の仕組みは説明されていますが、あらゆる構成での速度向上率は未公表です。
互換性の注意： 記事で固定されるDynamo 1.4.2と、1.5で導入されるネイティブRust EPPは実装が異なります。最新版を無条件に混在させず、Recipeの互換性検証を優先してください。
一次情報： NVIDIA公式技術記事