農家がミニPCにローカルLLMを入れてROCmを投げ捨てた話

目次

1. EVO-X2 AIの情報は見るけど、普通のミニPCの情報はあまり見ないよね
2. 実はROCm以外に選択肢があった
3. VRAMのことを書き忘れてた
4. まとめ

前の記事が前提のような書き方しているので、まだの方はそちらからお読みください。

あらかた基本のインストールが終わったところで、LLMのインストールに入ります。

EVO-X2 AIの情報は見るけど、普通のミニPCの情報はあまり見ないよね

正直ローカルLLMに関して、あまり詳しくないのに使おうとするのも考え物なのですが、今回、勢いで話を進めているので何となくで進めたのが地獄の始まり。

Ollama×ROCm

これを使ったのは特に意味はありません。何となくClaudeCodeがこれを入れる感じでした。テキスト処理と画像認識をコマンドラインでできればと言う感じで指示したらこれが入った感じでした。この組み合わせと言うかROCmが問題で、Radeon 780Mを使おうとすると高確率でGPUがハングします。

ここからが泥沼でした。何らかの対処法があるのではとClaudeCodeに指示しながら、一つづつあれ変えて、これ変えてとやってみたのですが、何ともよくならない。多少安定したと思っても結局ハングする。

ここまでやって、いろいろ調べて判明したのですが（みなさんご存じなのかもしれませんが）、AMDの内蔵GPUってAI処理に向いていないというかサポートされてないことが多いんですよ。基本NVidia一強なわけなのは分かっていましたが、ここまでとは思っていませんでした。ただ、LLM以外に画像生成を行おうとした場合、NVidiaのチップが必要だったり、ROCmが必要な割には、結局Radeon 780Mがサポート外だったりと八方ふさがりでした。

実はROCm以外に選択肢があった

ここまで、どうやったらROCmを安定させることが出来るのかとやってきたのだが、ROCmはもう無理だとなった時に、どうもほかの選択肢があるようだということが判明しました。Vulkanを使用すれば安定するようだという情報が見つかりました。これ分かった瞬間、今までの苦労が何だったのかと思い、タイトル通りROCmを投げ捨てたくなりました、物でも何でもないけど。

llama.cpp×Vulkan

なんか一発で安定化しました。先ほどまでの手詰まり感が一気になくなりました。あまりにも簡単に動いたので拍子抜けです。人によっては問題かも知れませんが、Vulkanを使うことでOllamaからllama.cppに変える必要があったことと、ComfyUIが使えなくなりました。ただ、Ollamaが特に使いたかったわけでもないし、ComfyUIはROCmを使っていてもハングするので結局関係ないのであきらめることに。

VRAMのことを書き忘れてた

あと書くの忘れていましたが、VRAMをBIOSでメインメモリから割り当てる設定をします。この設定可能範囲って機種ごとに上限が決まっているんでしょうか？てっきり自由に設定できるもんだと思ってました。あまり情報が出てこないのでよく分かりませんが、K12は32GBまででした。正直32GBってのはちょっと半端で、巨大なモデルは入らないし、そこそこのモデルは二つ入らない。場合によっては、小さめのものも2つめに入れることが出来ない半端な大きさです。このLLMの時代に96GB搭載できるのに32GBまでと言うのはちょっと残念です。

まとめ

ROCmが使えるんであれば、たぶんROCmを使う方が絶対いいんだけど、現状Radeon 780MをLLMに使用するのであればVulkanを使わざるを得ない。そうするとllama.cppを使う感じになる。今回ClaudeCodeに指示してインストールされるのを眺めていたので、llama.cppもOllamaもあまり違いが無かったが、インストールや管理が楽、面倒など違いがあるかもしれない。

今のAMDのミニPCでローカルLLMをやるのであればllama.cpp×Vulkanと言うことを覚えておいてください。

大きいセールがある場合はAmazonもしくは楽天から購入するとお得です。
買い物情報はこちらからご確認ください。気分で紹介しています。

アリエクのクーポン情報もまとめています。こちらをご覧ください。

当ページにはアフィリエイトリンクを含む場合があります。