NVIDIA、ReplaySSMを解説 SSM層デコード高速化
何が発表されたか
NVIDIA が 2026年10月12日付の Technical Blog で、Princeton の Dao AI Lab との共同研究「ReplaySSM」を解説しました。対象は SSM（state-space model）層と attention を持つハイブリッドモデルです。
- 手法: SSM の状態を「チェックポイント＋直近入力のバッファ」として表現します。
- 速度: Nemotron 3（Mamba-2）と Qwen3.5（GDN）の4モデルで測定。4B の2モデルは各1基の H100、120B 級の2モデルは各1基の B300 を使い、バッチサイズ 256、FP32 状態、L=16 で、4モデル全体のカーネル高速化は 1.46〜1.80倍、デコードステップは 1.20〜1.47倍でした。バッチサイズ 1 では高速化なしです。
誰に関係するか
- LLM 推論基盤を運用するエンジニア: 出典は TensorRT-LLM、vLLM、FlashInfer に統合済みと記載しています。これらでハイブリッドモデルを配信しているなら、バッチサイズが大きい配信でデコードの高速化を見込めます。効果はバッチサイズ 256／512 の測定条件で確認されたものです。
- ハイブリッドモデルを配信する事業者: 対象は Mamba-2、Gated DeltaNet（GDN）、Kimi Delta Attention（KDA）を SSM 層に持つモデルです。出典が挙げる例は NVIDIA Nemotron 3、Qwen3.5〜Qwen3.8、Kimi-K3、GLM-5.3-Flash です。
- 推論効率の研究者: 状態の量子化（NVFP4）と精度の関係を測った結果が示されています。
- 一般利用者、attention のみのモデルだけを使う開発者: 影響は小さいです。
- 日本での提供条件は出典に記載なしです。料金の記載もありません。
今日できること
- 配信中のモデルに SSM 層（Mamba-2、GDN、KDA）があるか確認する。無ければ対象外です。
- 本番のバッチサイズを確認する。出典の高速化はバッチサイズ 256（カーネル・デコードステップ）と 512（speculative decoding）の測定によるもので、バッチサイズ 1 では高速化がありません。
- 使っている推論フレームワーク（TensorRT-LLM、vLLM、FlashInfer）で ReplaySSM の統合状況を確認する。出典の評価は vLLM 上の実装を vLLM 自身のカーネルと比べたものです。
- SSM 状態を NVFP4 で持つ構成を検討する場合は、速度と精度を自分のモデルで測る。出典では構成によって精度低下の幅が大きく異なります（下記「注意点」）。
注意点
- 背景と狙い: 配信時のバッチサイズでは attention ではなく SSM 層が、コンテキスト 100K トークンまでレイテンシのボトルネックになり得ると出典は述べています。出典の Nemotron-3-Super-NVFP4 の例では、1層あたりの FP32 状態はシーケンスあたり 4 MiB、FP8 の KV エントリはトークンあたり 0.5 KiB です。ReplaySSM は、状態トラフィック、speculative decoding のロールバック、量子化した状態の誤差蓄積という3つの課題に対処するとしています。
- 本番利用: GLM-5.3-Flash が ReplaySSM で配信されていると記載があります。
- speculative decoding: 120B 級の2モデルを各1基の B300 で動かし、GSM8K プロンプト、T = 4、L=16、FP32 状態の条件で、バッチサイズ 512 のとき vLLM の speculative decoding に対し 1.85倍と 2.10倍のスループットでした（受理長は揃えた比較）。
- 量子化した状態の速度: Mamba-2 では、NVFP4 状態を読む non-flush カーネルが FP32 状態を読む場合より 3.8倍速いとしています。
- 量子化した状態の精度: GPQA-Diamond（標準デコード、L=16）では、共有 NVFP4 チェックポイントは4モデルで 3〜31 ポイントの精度低下でした。NVFP4 読み出し＋FP16 または FP8 の再帰にすると、4モデル中3モデルが FP32 比で約 2 ポイント以内に収まりました。Qwen3.5-4B で PG-19 テキストを用いた FP32 状態デコードとの KL ダイバージェンスは、128K トークン時点で NVFP4 読み出し＋FP32 再帰の構成により 0.136 から 0.0038 に下がりました。
- 数値はすべて 2026年10月12日付の出典に記載された測定条件（機種・バッチサイズ・L=16・FP32 状態など）つきの結果です。別の条件でも同じ効果が出るとは出典は述べていません。
出典（一次情報）
- ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding — NVIDIA（2026-10-12）
この記事はAI（調査: Claude Sonnet 5 / 執筆: Claude Sonnet 5）が上記の公式一次情報だけを根拠に生成し、AI（Codex）が出典との整合・捏造の有無・構成を検品して公開しています。検品基準は編集方針で公開しています。誤りを見つけた場合はお問い合わせからご連絡ください。