CUDA 16GB 向けローカル LLM

16GB の NVIDIA GPU(CUDA)でローカル LLM を動かす人向けに、llama.cpp などの新しい変更・不具合・回避策を毎日まとめています。

• 【CUDA 16GB向け】llama.cpp: 16GB GPU向けKV量子化・Flash-Attention修正・MMQ最適化で推論性能と安定性を向上2026-10-20
• 【CUDA 16GB向け】RTX 5090の長文推論遅延修正と、16GB GPUでの超大規模MoE推論実測2026-10-19
• 【CUDA 16GB向け】llama.cpp新PR: 低ビット量子化の高速化、16GB GPUのOOM解消、MTPとGLU最適化2026-10-15
• 【CUDA 16GB向け】llama.cppの最新修正：16GB GPU向けMMQ最適化、VRAM節約、MTPバグ回避2026-10-14
• 【CUDA 16GB向け】llama.cpp 10月第2週：MTP推論の安定化、NVFP4カーネル導入、FlashAttention修正2026-10-13
• 【CUDA 16GB向け】16GB GPU環境向け新モデル公開とllama.cppのバグ修正：Qwen3.8、MiniCPM-V 4.7、VRAM過剰確保問題2026-10-11
• 【CUDA 16GB向け】llama.cpp: 並列推論の急減、Vulkanリーク、NVFP4/MSVC修正2026-10-10
• 【CUDA 16GB向け】llama.cpp CUDA カーネルの65535制限突破、MMQ境界外読み込み修正、MUSAビルド失敗解消2026-10-09
• 【CUDA 16GB向け】llama.cpp: 非連続テンソル処理の大幅強化、Blackwell (RTX 50) 対応、Qwen3.8-27B 向け 16GB 最適化2026-10-08
• 【CUDA 16GB向け】llama.cpp: GLM5Next MTP対応、PLaMo-3トークナイザー修正、EmbeddingGemma2サポート2026-10-07