農家のダッシュボードの話から、なぜかサーバーを立てるし、ローカルLLMをやってみることになった話

目次

1. 機種選び
2. ローカルLLMとミニPC
3. 再度機種選び
4. その他に
5. まとめ
6. 購入はこちらから

先日の農家のダッシュボードを作ろうから、HomeAssistantサーバーを立てないといけないという話になった時点で結構予定外だったのだが、話が意外に急展開してきたので書いていきたいと思います。

HomeAssistantを使用するにはサーバーが必要です。いろいろガジェット買ったりしているのですが、サーバーを立てようと思ったことはありませんでした。実際、いろいろできることはあるのでしょうが、何気に必要と思ったことはありませんでした。

数年前であればRaspberryPiが定番だったのですが、RaspberryPiが値上がりしてミニPCが値下がりした関係で、ミニPCで良いじゃんとなっています。

機種選び

当初は楽天に期間限定ポイントが2万くらいあるので、安いミニPCを買おうと思い物色。本当に安いセレロン4000の機種からN95、N97、N100、N150とここら辺からどの機種を選ぶかと思っていました。当初本当にそう思っていました。ただ、何となくラインナップを見ていると、上のラインナップを見ても、そんなに値段が変わらないんですよね。それで何となく次から次へと上のラインナップを見ていくうちに、大体全部のラインナップを見ていました。

では、HomeAssistantにそんな機種がいるのかと言われれば、決してそんなことは無いわけで、では何故上のランクの機種を買う必要があるのかと言われれば、ローカルLLMに興味があったからの一言です。ただ、実際、現在のローカルLLMはOpenAIのAPIと比べれば性能も速度も出ないでしょうし、費用を考えても機種費用ほども使うことは無いかと思います。ではなんで、そんな選択をと言われたらやりたいからとしか言えないです。

まず、やってみたい。ロマンの一言です。その次には、有料のAPIを使うってのは心理的に負担がある。無料であれば気にせず使うのですが、有料だとちょっと抑えがかかってしまう。どれだけ使ったかが気になるってのは、結構心理的負担があります。それが無くなるのは、意外に意味があると思います。

私がAIのAPIを使うにあたり、推論性能は求めていますが、速度は重視していないのもポイントかも知れません。そうなると、ミニPCとは言ってもそこそこ性能があってメモリをある程度乗せれば実用になるのではと思います。

ローカルLLMとミニPC

ローカルでLLM動かすとか、画像生成にはGPUが必要と言うのは聞いたことがあると思います。速ければ速いほど、VRAM多ければ多いほど良いと言うのはざっくり私も思ってました。でも、グラボほどの性能を持たないGPUが内蔵のミニPCで動かすのが非現実的なのかどうかについて語りたいと思います。

単純な比較は、GPUやCPUによって異なりますのでざっくり話します。ミニPCはメインメモリをほぼ最大まで積む前提とします。

ミニPCが有利なのかどうか

基本的にグラボは処理が早いです。実用レベルのスピードが出ます。ただ、単純に高価です。簡単な話をすると、VRAMに入るモデルであれば超高速です。ただVRAM容量を超える時点でデータのオーバーフローが起こり処理速度が激減する。なので、それを超えるサイズのモデルでは外付けグラボのメリットが無いということです。

逆に、ミニPCと言うか、内蔵GPUでVRAMとしてメインメモリを扱う際には、速度は遅いのですがメモリ不足は起きにくいです。性能が良いわけではありませんが、それでも意外に動くと思われます。というか、ある程度精度が出るモデルが使えるとしても、低速だとつかえるか？と言う話もあります。結局コスパを考えて、どのラインを選ぶかの話になっちゃうかもしれません。

再度機種選び

現在、個人的に一番ローカルLLMに熱いミニPCがGMKtec EVO-X2です。
が、さすがにこんな金額は出せないので、どこかで妥協する必要があります。できれば現金あまり使いたくないのですが、楽天ポイントとdポイントがちょっとありますので、楽天、Amazon（Amazon payが使える店も可？）で買うという部分で検討。

ここでポイントとなるのは、OSがいらないし、メモリをできるだけ多く積みたいので、ベアボーンで買うのが基本。上を見るときりがないし、だからと言って性能が低いのはちょっと考え物。結局コスパを考えてどこで妥協するのかと言う話になるか？

最低限求めていたのはある程度の性能を持ってLLMを動かすというものでしたが、では、それに必要な性能がどのくらいなのかと言うものははっきり分かってはいませんでした。ですので、何となくAMD系にするのは決めていて、価格に壁があるのはZen4とZen5の間に価格の壁が何となくあるかなとは感じました。ただ、これはとりあえず見ていたGMKtecのラインナップの問題かも知れませんが、Zen4世代の商品で検討に入りました。

こっから先は正直何となくなんですけどNPUをどうするかと、性能をどこまでお金で買うかと言うことになるかと思います。この価格帯になると性能が大きく変わらないと思うので単純に価格で決めました。NPUに関しては今の時点で役に立ってはいない、では将来的にどうなのよと言われても正直なところが分かりません。近いうちに使われる様にはなるだろうが、それがいつになるのかと言う点が一つ、そこまで大きく影響がないだろうと個人的に思っているのが一つと言うことで、今回は無くても良いかなと決定。

と言うことで今回はGMKtec ミニ PC K12 Nucboxを採用。なんか一瞬安いタイミングで、クーポン値引き込みで約47,000円。もう買ってしまったので、どうしようもないが、気になる点がいくつか。

①独身の日セールがどれくらい安くなるか。
②トプトン ゲーミング ミニPC AMD Ryzen AI 9 HX 370がES版チップを使用しているが、安い気がするがES版は危ないのか？クーポンを使えば70,000円を切ってくると思うが、海外輸入でES版、怖すぎる。

その他に

メモリとSSDはポイントで買うつもり。なんか、徐々にメモリが値上がりしているのかな？7月くらいは安かったようだが、悲しい。キーボードとかマウスは探せばどこかに眠っているはず。

まとめ

とりあえずGMKtec ミニ PC K12 Nucboxを買って、HomeAssistantとローカルLLMサーバーとして運用する方針決定。メモリとSSDは近日中に購入予定。でも、今後もミニPCの価格チェックはしていきたい。商品そろい次第、次のサーバー準備を開始する予定。

購入はこちらから

SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。

大きいセールがある場合はAmazonもしくは楽天から購入するとお得です。