【780M向け】llama.cpp Vulkan SPIRV-Headers修正・Qwen3.6向けvulkan_mul_mat_vec_4k最適化(2026-05-27)

目次
この記事はAIによって編集・作成されています。
本日はllama.cppのVulkanバックエンド向けSPIRV-Headers修正(b9295リリース)と、Qwen3.6向けvulkan_mul_mat_vec_4k最適化コミットが確認された。また、Vulkan cooperative matrix演算(vulkan_coopmat1_conv2d)の進展と、hipEngineによるQwen 3.6インファレンステールでRDNA3環境での実測値が報告されている。780M(RADV)環境での適用については一部要検証項目があることを留意されたい。
vulkan_mul_mat_vec_4k — Qwen3.6向けVulkan行列演算最適化
本日の主要発見。Qwen3.6系モデル向けにvulkan_mul_mat_vec_4k最適化が導入された。4Kトークン領域での行列積演算をVulkanで最適化し、推論レイテンシ削減が期待される。
対象モデル: Qwen3.6系
最適化内容: mul_mat_vec(行列-ベクトル積)を4K領域で最適化
環境: Vulkanバックエンド(RADV含む)
情報源: github.com/ggml-org/llama.cpp
780Mユーザーへの適用指針
# llama.cpp最新ビルド(vulkan_mul_mat_vec_4k含む)
cmake -DGGML_VULKAN=ON -S cpp -B build
cmake --build build --config Release -j$(nproc)
# 推論実行例
./build/bin/main -m <モデルパス> \
-t $(nproc) \
-ng 1 \
-b 2048 \
-c 8192※780MのiGPU VRAM上限(通常8〜16GBのUMA)を超えるモデルサイズは動作しない。Qwen3.6のQ4_K_XL(約14GB)はぎりぎりだが、システムRAMとの共有メモリ次第。動作未確認のため要検証。
vulkan_coopmat1_conv2d — Vulkan cooperative matrix演算の進展
本日の新着コミット。Vulkan cooperative matrix(coopmat1)を用いたconv2d演算の最適化が確認された。RDNA3(gfx1100〜gfx1150)ではcooperative matrix演算がハードウェア支援を受けているため、convolution系のレイヤ(特にMixture-of-ExpertsやTransformerのFFN)で性能向上が期待される。
技術: cooperative matrix 1.x 演算
対応アーキテクチャ: RDNA3(gfx1100以降)
780Mでの対応: RADVがcoopmat1をサポートしているか確認が必要(RADVのcoopmat1サポートはバージョン依存)
情報源: github.com/ggml-org/llama.cpp
780MでのRADV対応確認方法
# Vulkanデバイス情報の確認
vulkaninfo | grep -i cooperative
# RADVのextension確認
vulkaninfo | grep VK_AMD_cooperative_matrix※RADVでのcoopmatサポートが確認できない場合、この最適化は効かない。その場合は通常Vulkanバックエンドで動作するが、この最適化は適用されない。
llama.cpp release b9295 — Vulkan SPIRV-Headers fix
llama.cppのVulkanバックエンド向けSPIRV-Headers修正がb9295リリースで提供された。SPIRV-Headersの更新に伴い、VulkanシェーダのSPIR-Vバイトコード生成が修正されている。Vulkanバックエンドでシェーダコンパイルエラーが発生していた環境で改善が見込まれる。
リリース: b9295
修正内容: Vulkan SPIRV-Headersの修正
対象: Vulkanバックエンド(RADV含む)
情報源: github.com/ggml-org/llama.cpp releases
hip fattn expf approximation — 近似演算の改良
hip(Vulkan / HIP ベース)のfattn(FastAttention)におけるexpf近似が改良された。精度・速度の両面での改善により、780M上でのAttention計算がより効率的になる可能性がある。
内容: fattnのexpf(exponential function)近似の改良
影響: Attentionレイヤの推論速度向上
環境: Vulkan / HIP バックエンド
情報源: github.com/ggml-org/llama.cpp
hipEngine — Qwen 3.6 高速ネイティブ推論(RDNA3対応)
RDNA3環境(Strix Halo / 7900 XTX向け)でQwen 3.6の高速ネイティブ推論を実現するhipEngineが報告されている。19 upvotesを記録。
対応GPU: RDNA3(Strix Halo)、7900 XTX
対応モデル: Qwen 3.6
780Mでの互換性: 780MもRDNA3(Strix Halo)アーキテクチャのため、動作の可能性あり。要検証。
vLLM DSv4 MTPサポート(ROCm)— 780Mユーザーへの留意点
vLLMでDeepSeek v4のMTP(Multi-Token Prediction)サポートがROCm向けに追加された(#43385)。また、kv_offロードのDSv4対応(#43142)と、400エラーコードの安定化(#43016)も実施されている。
vLLM #43385: [ROCm] [DSv4] [Perf] Support DeepSeek v4 MTP
vLLM #43142: [kv_offload]: Add DSv4 support
vLLM #43016: [ROCm][CI] Stabilize 400 error return code
情報源: github.com/vllm-project/vllm
780Mユーザーへの留意点: これらのvLLM修正はROCm(CUDA代替のAMD用ランタイム)向けであり、780Mで通常使用するVulkanバックエンド(llama.cpp等)とは直接関係しない。ROCmはdiscrete GPU用で、780M iGPUではVulkan(RADV)が主な推論パスとなるため、vLLMのROCm修正は780M環境では適用されない可能性がある。
その他の話題
Gemma4 26b A4B Apex quant — Vulkan環境での品質
Gemma4 26b A4B Apex quantがVulkan環境(RX 9060 XT)で「かなり良い」と報告されている。780MでもVulkanバックエンドでの動作が期待されるが、モデルサイズ(約14GB)と780MのVRAM上限の兼ね合いで要検証。
Local Modelによる会計タスク実行
ローカルLLMでの会計タスク実行事例が報告されている。実用的なLLM利用事例の一例。
MI60 32GB VRAM ベンチマーク — Gemma4 / Qwen3.6
AMD MI60(32GB VRAM)でのGemma4およびQwen3.6ベンチマークが報告されている。780MのVRAM(8〜16GB)とは異なる環境だが、モデルサイズと速度の目安として参考になる。
Mi100 vs R9700 — ローカルLLM比較
AMD Instinct Mi100(データセンターGPU)とRadeon RX 9700のローカルLLM向け比較が報告されている。780Mとは異なるが、AMD GPUのLLM性能の広範囲な比較として参考になる。
本日のまとめ
780Mユーザーの優先アクション:
llama.cppをb9295以降に更新し、SPIRV-Headers修正とvulkan_mul_mat_vec_4k最適化を適用
RADVのcooperative matrix対応を確認(vulkaninfoでVK_AMD_cooperative_matrix存在確認)
Qwen 3.6モデルでvulkan_mul_mat_vec_4kの速度改善を実測。780MのVRAM限界内でQ4_K_XLを試す場合は、システムRAMとの共有メモリ構成を確認
hipEngineの動作確認も検討(RDNA3アーキテクチャ互換だが要検証)
本日はVulkanバックエンドの演算最適化が複数コミットされた日。780M上で実際に速度改善が見られるか、実測で確認するのが最も重要である。
SwitchBot公式ページ
クーポン「AF-4903」で5%引き(アフィリエイトクーポンになりますのでご協力お願いします)
割引の詳しい仕組みに関してはこちらのページを参照ください。