【CUDA 16GB向け】Qwen3.6 35B A3Bが12GB/110tok/s到達 — llama.cpp b9297でNVFP4+MTP同時解放、evalバグとMTP性能検証の同日

目次

1. Qwen3.6 35B A3B、12GBで110 tok/sを記録（ik_llama.cpp）
2. llama.cpp b9297 — NVFP4 + MTPが同時解放
3. Evalバグ: -fitオプションがMTPのVRAM必要量を無視してOOM
4. MTP vs ngram-mod: Qwen3.6 27B + 35B A3Bのパフォーマンステスト
5. MTP有効時の急激なパフォーマンス低下
6. llama.cpp Qwen3.6-35B-A3B-APEX-MTPモデルの公開
7. llama.cppのメタバックエンドで1GB固定コンテキストプールが拡張バッファに
8. まとめ

この記事はAIによって編集・作成されています。

今日確認されたCUDA 16GB環境向けの主要情報は3つ。まず1つ目は、Qwen3.6 35B A3Bが12GB VRAMで110 tok/s（ik_llama.cpp）を記録。2つ目はllama.cpp b9297リリースでNVFP4量子化とMTPが同時に使えるようになったが、-fitオプションにVRAM無視のevalバグあり。3つ目はRedditでMTP vs ngram-modのパフォーマンステストと、MTP有効時の急激な速度低下報告が出ている。

Qwen3.6 35B A3B、12GBで110 tok/sを記録（ik_llama.cpp）

Reddit r/LocalLLaMAで、Qwen3.6 35B A3Bが12GB VRAMの環境で110 tok/sを達成したという報告が上がっている。この速度はik_llama.cpp（llama.cppの最適化ビルド）によるもの。16GB GPUならQ3_XXQやQ4_K_Mレベルのモデルで同程度の速度が出せる可能性がある。

• モデル: Qwen3.6 35B A3B

• VRAM: 12GB

• 速度: 110 tok/s

• 推論エンジン: ik_llama.cpp

情報源: Reddit r/LocalLLaMA

llama.cpp b9297 — NVFP4 + MTPが同時解放

llama.cppの最新リリース（b9297）で、NVFP4量子化とMTP（Multi-Query Prediction、複数トークン予測）が同時に有効にできるようになった。これにより、Q6_K_XL等の高精度量子化モデルでMTPによる生成速度向上が期待できる。

情報源: llama.cpp releases (b9297)

併せてb9296では2D get fallbackの修正が行われている。CUDAプールの2D演算フォールバック処理が安定化している可能性が高い。

情報源: llama.cpp releases (b9296)

Evalバグ: -fitオプションがMTPのVRAM必要量を無視してOOM

重要なバグ報告が上がっている。-fit（VRAM最適化）オプションを使用時、MTP（Multi-Query Prediction）が内部で追加VRAMを必要とするが、その分を-fsオプションが評価しない。これにより想定VRAM超過でOOM（Out of Memory）クラッシュする。

MTPを有効にしながら-fsでVRAM制限を掛ける場合、このバグによりサーバーが回復不能な状態に陥る可能性がある。MTP有効時の-fs使用には注意が必要だ。

情報源: github.com/ggml-org/llama.cpp

注意: MTP有効時の-fs/--vracm-fs使用時は、バグにより実際のVRAM使用量が評価値を大きく超える。16GB環境ではMTP無効でVRAM最適化するか、-fsを緩める設定を推奨。

MTP vs ngram-mod: Qwen3.6 27B + 35B A3Bのパフォーマンステスト

RedditでQwen3.6 27Bと35B A3BにおけるMTPとngram-mod（ngram多分枝予測）の比較テストが報告されている。MTPによる生成速度の向上幅、および推論品質への影響が数値付きで語られている。Qwen3.6-MTPモデル固有のベンチマーク値は要検証だが、ngram-modとの差が議論されている。

情報源: Reddit r/LocalLLaMA

MTP有効時の急激なパフォーマンス低下

GGUFモデル実行時に突然パフォーマンスが落ちるという報告が上がっている。MTPに関連する問題で、設定変更やモデル切り替え後に速度が急減するケースが確認されている。MTP有効時の挙動にはまだ不安定な要素が残っている可能性がある。

情報源: Reddit r/LocalLLaMA

llama.cpp Qwen3.6-35B-A3B-APEX-MTPモデルの公開

Beelink GTR9 Pro + Strix Halo向けに、Qwen3.6-35B-A3B-Uncensored-Genesis-V2-APEX-MTPモデルがRedditで報告されている。APEX（Advanced Predictive Execution X？）量子化とMTP付きの商用利用可能なモデル。16GB CUDA環境での動作報告は確認できていないが、MTP付き35Bモデルの選択肢が増えている。

情報源: Reddit r/LocalLLaMA

llama.cppのメタバックエンドで1GB固定コンテキストプールが拡張バッファに

llama.cppのメタバックエンドにおいて、固定1GBのコンテキストプールが伸張可能なバッファに置き換えられた（PR #22404）。これにより、長いコンテキストを扱う際にVRAMを効率的に使いやすくなっている。16GB環境では従来より長いコンテキストが使える可能性が高い。

情報源: github.com/ggml-org/llama.cpp PR #22404

まとめ

今日のおすすめアクション: (1) llama.cpp b9297を適用してNVFP4+MTP同時有効を試す。(2) MTP有効時の-fs使用はバグ回避のため注意または一時的に無効化。(3) 16GB GPUならQwen3.6 27B-MTP Q6_K_XLがMTP最適化で速度向上期待。ik_llama.cppの速度ベンチ値は要検証だが参考にする。明日もMTP実測値の追跡を続ける。