「NVIDIA」の記事

NVIDIA、ReplaySSMを解説 SSM層デコード高速化

NVIDIAとPrinceton Dao AI Labの共同研究ReplaySSMを解説。ハイブリッド4モデルのSSM層デコードがバッチ256でカーネル1.46〜1.80倍、バッチ1は高速化なし。vLLM等の推論基盤運用者向け。