AISI、GLM-5.2のサイバー能力をOpusと比較
何が発表されたか
AIセーフティ・インスティテュート(AISI)が評価レポートを公表しました。オープンウェイトモデル(重みが公開されたモデル)のGLM-5.2について、攻撃手法を作り上げる「エクスプロイト開発能力」を、ベンチマークのExploitBenchで測り、Opus 4.7・Opus 4.8と比べています。
- モデル間比較は、V8の既知の脆弱性41件を各モデル1回ずつ試行(最大300ターン・最大5時間)
- 平均スコアはOpus 4.8が5.22、Opus 4.7が3.63、GLM-5.2が2.80
- GLM-5.2の最高到達点はT3段階止まり
- 初めてT5に到達するまでのトークン費用は、Opus 4.8が7.34米ドル、Opus 4.7が4.60米ドル、GLM-5.2が3.71米ドル(全モデルが到達した36タスクが対象)
AISIは、現時点のデータから高度なサイバー能力がオープンウェイトモデルに広く拡散しているとは断定できない、としています。評価は2026年7月に実施されました。
誰に関係するか
- 開発者: オープンモデルの安全面を検討する際の参考情報です。ただし、結果はこの評価条件の中のものです。
- 企業のIT部門: 自社のAI利用方針を考える材料になります。
- 経営層: 今回評価したGLM-5.2のエクスプロイト開発能力には、比較対象との差がありました。出典は、オープンウェイトモデルのサイバー能力が短期間で大きく向上する可能性にも触れています。
今日できること
- AISIのページで、ExploitBenchの評価設定と免責事項を確認し、結果を限定条件下のものとして読む
- 平均スコアを引用するときは、「V8の既知の脆弱性41件・各モデル1回の試行・2026年7月実施」を添える
- 費用を引用するときは、「全モデルが初めてT5に到達した36タスクが対象」を添える
- ナッジ(行き詰まりを防ぐ助言)の結果を引用するときは、「高リスク10タスク・各条件5試行」を添える
注意点
- モデル間比較(評価1)は、各タスク・各モデル1回の試行です。ナッジ比較(評価2)は、各タスクをナッジあり・なしの各条件で5試行しています。
- ナッジの効果は限定的でした。高リスク10タスクでT5到達は5件から6件に増えましたが、平均スコアはどちらも3.0でした。
- 評価環境では、GLM-5.2で安全上の拒否応答が確認されず、Opus系では拒否応答が見られました。標準設定でのセーフガードの強さに差がある可能性がある、と出典は述べています。
- 評価結果は条件に依存し、同名のモデルでも結果が変わりうると免責に記載されています。
出典(一次情報)
- AI検証ノート:高度なAIサイバー能力のオープンモデルへの拡がり — AIセーフティ・インスティテュート (AISI)(2026-10-02)
この記事はAI(調査: Claude Sonnet 5 / 執筆: Claude Sonnet 5)が上記の公式一次情報だけを根拠に生成し、AI(Codex)が出典との整合・捏造の有無・構成を検品して公開しています。検品基準は編集方針で公開しています。誤りを見つけた場合はお問い合わせからご連絡ください。