【780M向け】llama.cpp Vulkan: Intel WindowsのVRAM認識不具合修正とCM2/デルタネット対応
目次
この記事はAIによって編集・作成されています。
llama.cpp は ggml-org が開発する C/C++ の LLM 推論エンジン。Vulkan バックエンドで AMD iGPU でも動く。
今回の要点
- Intel iGPU (Windows) で VRAM 容量が正しく認識されない不具合への回避策が実装された。
- AMD Radeon 780M 環境において、Vulkan 経由で GGUF モデル読み込み時にメモリ不足エラーが発生する事例が報告されている。
- CM2 アーキテクチャ向けに行列乗算の量子化ブロックサイズ専門化が行われ、演算効率が改善された。
- 特定アーキテクチャ向けの GATED_DELTA_NET 実装がチャンク処理に対応し、推論の互換性が拡充された。
Vulkan: Intel Windows環境でのVRAM認識不具合の回避策
Intel 内蔵 GPU を搭載した Windows 環境において、Vulkan ドライバーがデバイスの空きメモリ容量を総メモリ容量を上回る値として報告する不具合が存在する。この挙動は推論エンジン側でメモリ割り当ての計算誤りを引き起こす要因となっていた。
今回の変更では、この Windows 環境特有のドライバー挙動に対するワークアラウンドが追加された。これにより、Intel iGPU ユーザーは VRAM の認識エラーに遭遇することなく、安定した推論環境を構築できるようになる。この修正は以下のプルリクエストで確認できる。
利用者の報告
AMD Radeon 780M (RADV PHOENIX) を搭載した Linux Mint 環境において、llama.cpp (build 11160) と Unsloth Studio を組み合わせた際、Vulkan による GGUF モデルの読み込みで ErrorOutOfDeviceMemory が発生する報告がある。システムメモリ 64GB を共有する環境であり、llama-server --list-devices では 16896 MiB 中 15170 MiB が空きとして認識されていたが、実際の割り当て処理で失敗したという (@Paco1960)。
また、Windows 11 上の AMD RDNA4 (RX 9070 XT) 環境において、Hermes Agent がピン留めする llama.cpp Vulkan ビルド (b10964) の推論速度が、LM Studio 同梱の Vulkan ビルドと比較して約 4 倍遅いという報告もある。同一 GPU 上で -ngl 99 (GPU オフロード) と -ngl 0 (CPU) の速度差がほとんど見られず、GPU へのオフロードが性能向上に繋がっていないという (@thevaprroomops-cmyk)。
Vulkan: CM2行列乗算の量子化ブロックサイズ専門化
CM2 アーキテクチャを搭載する GPU 向けに、行列乗算 (matmul) 処理における量子化ブロックサイズの専門化が行われた。これにより、特定の量子化形式における演算効率の改善が期待できる。AMD Radeon 780M 等の環境でも、アーキテクチャ固有の最適化が適用されることで推論パフォーマンスの微細な向上が見込まれる。
Vulkan: GATED_DELTA_NETのチャンク実装追加
特定アーキテクチャである GATED_DELTA_NET に対応する Vulkan 実装において、チャンク処理機能が追加された。これにより、従来対応が限られていたモデルアーキテクチャの推論互換性が拡充される。AMD iGPU ユーザーも、これらのアーキテクチャを採用するモデルを Vulkan 経由で実行可能となる。
出典
SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。