2026年4月12日
個人的に使っている LINE ボットをグループに参加させているのですが、送られた画像のうち「プライベート」な画像をクラウドの LLM API に送るのはちょっと抵抗がある、っていうことでガードレール的にローカル LLM で判定して、問題なさそうな画像だけをクラウドに送るようにしてます。 去年半ばから使い始めていて Gemma 3 4B でそれなりに動いていたのですが、Qwen 3.5 の評判が良かったり、つい最近 Gemma 4 も出てきたってことで、定量的に評価してみました。 ## 環境 * Ub
2025年8月14日
個人的Ubuntu24.04 Serverセットアップメモ の続きです。VRAM 8 GB しかない GPU で、マルチモーダル入力可能なローカル LLM サーバーを構築していきます。結論、これからローカル LLM のために GPU を用意するなら RTX 40xx 世代以降がおすすめ。 ## 環境 * Ubuntu 24.04 Server * Ryzen 7 3700X * メモリ 32GB * NVIDIA GeForce RTX 2070 * VRAM 8 GB * nvidia-driv
2025年8月13日
前回 個人的Ubuntu24.04 Desktopセットアップメモ を書きましたが、結局 Ubuntu Server に切り替えたのでその時のメモ。 ## 環境 * Ubuntu 24.04 Server * Ryzen 7 3700X * メモリ 32GB * NVIDIA GeForce RTX 2070 ## なんで Server 版にしたのか ローカル LLM とかを動かすサーバとして運用したくなった。Desktop 版のままでも良いかもとは思ったが、RDP 切断時に常時起動するはずの（ユ
2024年5月18日
スパコン「富岳」で学習したという「Fugaku-LLM」を自宅 PC で動かしてみました。既に多くの方が Colab とか Ollama とかで試しているみたいですので n 番煎じですが、自分でも触ってみたかったので。 https://github.com/SogoKato/run-fugaku-llm ## 環境 * Windows 11 * WSL 2 + Docker Desktop * GeForce RTX 2070 (8GB RAM) * AMD Ryzen 7 3700X * 32GB
2024年3月28日
Windows PC に GPU を取り付けておきつつ、必要に応じてラズパイやクラウドのサーバーから自宅の GPU リソースを活用出来たら嬉しいなと思い調べてみたら、Juice Labs という組織が GPU-over-IP の Juice というソフトウェアを開発していたので試してみました。 ただし、2024年3月現在、GitHub で公開されているコミュニティバージョンは開発を停止しているようです。 > We've been hard at work building the core Juice
