2025年8月14日
個人的Ubuntu24.04 Serverセットアップメモ の続きです。VRAM 8 GB しかない GPU で、マルチモーダル入力可能なローカル LLM サーバーを構築していきます。結論、これからローカル LLM のために GPU を用意するなら RTX 40xx 世代以降がおすすめ。 ## 環境 * Ubuntu 24.04 Server * Ryzen 7 3700X * メモリ 32GB * NVIDIA GeForce RTX 2070 * VRAM 8 GB * nvidia-driv
2025年8月13日
前回 個人的Ubuntu24.04 Desktopセットアップメモ を書きましたが、結局 Ubuntu Server に切り替えたのでその時のメモ。 ## 環境 * Ubuntu 24.04 Server * Ryzen 7 3700X * メモリ 32GB * NVIDIA GeForce RTX 2070 ## なんで Server 版にしたのか ローカル LLM とかを動かすサーバとして運用したくなった。Desktop 版のままでも良いかもとは思ったが、RDP 切断時に常時起動するはずの（ユ
2024年5月18日
スパコン「富岳」で学習したという「Fugaku-LLM」を自宅 PC で動かしてみました。既に多くの方が Colab とか Ollama とかで試しているみたいですので n 番煎じですが、自分でも触ってみたかったので。 https://github.com/SogoKato/run-fugaku-llm ## 環境 * Windows 11 * WSL 2 + Docker Desktop * GeForce RTX 2070 (8GB RAM) * AMD Ryzen 7 3700X * 32GB
2024年3月28日
Windows PC に GPU を取り付けておきつつ、必要に応じてラズパイやクラウドのサーバーから自宅の GPU リソースを活用出来たら嬉しいなと思い調べてみたら、Juice Labs という組織が GPU-over-IP の Juice というソフトウェアを開発していたので試してみました。 ただし、2024年3月現在、GitHub で公開されているコミュニティバージョンは開発を停止しているようです。 > We've been hard at work building the core Juice
