3. NVIDIA、TensorRT Edge-LLMでNemotronをローカルAPI配信 — 生成速度を実測
記事公開：2026年10月30日｜実装ガイド（モデルの初発表ではない）
NVIDIAは、TensorRT Edge-LLMでDGX Spark 64GB上にNemotron-3.5 Lightningを導入する手順を公開しました。軽量なC++推論ランタイムとtrtedge CLIでモデルを取得し、TensorRTエンジンを構築できます。開発中はOpenAI互換APIで呼び出し、Jetson Thorなどのエッジ機器への展開を想定しています。
なぜ重要か
クラウドAPIを呼ばず、推論エンジンとモデルをローカル環境に置いてエージェントを開発・検証できます。性能評価の条件が具体的に示されているため、エッジ配備時の設計判断に使えます。
開発者向け：実装とAPI
bashpython -m pip install "tensorrt-edgellm[server]==0.11.1"
trtedge chat nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4
trtedge serve nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 --host 127.0.0.1 --port 8000
curl -fsS http://127.0.0.1:8000/health/readyローカルの/v1/chat/completionsにChat Completions形式でリクエストできます。初回はモデル約21GBをダウンロードし、エンジンをビルドします。
| 評価条件：DGX Spark 64GB、出力128トークン、batch=1 | DSparkなし | DSparkあり（draft 3） |
|---|---|---|
| HumanEval入力：平均生成速度 | 73.4 tokens/s | 126.9 tokens/s |
| HumanEval入力：TTFT中央値 | 98.1 ms | 98.7 ms |
| SpeedBench 1K：平均生成速度 | 73.3 tokens/s | 108.5 tokens/s |
評価条件： DGX OS 7.6.0、CUDA 13、TensorRT 10.16.1.11、TensorRT Edge-LLM 0.11.1、NVFP4、thinking有効、同時ストリーム1本。DSpark有効時のピーク総メモリはOS込み27.9GBでした。料金： ローカル推論APIの独立したトークン単価はなく、ハードウェア・運用費とモデルのライセンス確認が必要です。利用条件： NVIDIA対応環境が必要で、MacBook Air等のCPUだけで同じ性能が得られるという意味ではありません。
一次情報： NVIDIA公式技術記事