https://sogo.dev @SogoKatoのブログ。技術系の記事を書きます。 ja Sun, 10 May 2026 00:00:00 GMT https://sogo.dev/posts/2026/05/cloudflare-tunnel-ingress https://sogo.dev/posts/2026/05/cloudflare-tunnel-ingress Sun, 10 May 2026 00:00:00 GMT 以前の記事 IPoE回線の自宅のWebサービスをVPN経由で固定IPのクラウドから公開する では、IPoE 回線の自宅 Kubernetes クラスタを AWS Lightsail の VPS 経由（HAProxy + WireGuard）で外部公開する方法を紹介しました。あれから約3年、**Cloudflare Tunnel** を使った構成に切り替えたので、その記録を残しておきます。 ## 困っていたこと * 自宅 Kubernetes を外部公開するために Lightsail の VPS を経由 https://sogo.dev/posts/2026/04/agent-ready https://sogo.dev/posts/2026/04/agent-ready Fri, 24 Apr 2026 00:00:00 GMT Cloudflare が、自分のサイトが Agent-Ready であるかどうかを測定できるサイトを公開 しました。AI エージェントがサイトを発見しやすいか、内容を取り込みやすいか、利用方針を機械的に解釈できるかといった観点をまとめて確認できるツールです。 と、いうことで我がブログを測定してみた結果がこちら。 （Site type: Content site で測定） !isitagentready score: 50 > Discoverability > * ✅ robots.txt > https://sogo.dev/posts/2026/04/llm-image-recognition https://sogo.dev/posts/2026/04/llm-image-recognition Sun, 12 Apr 2026 00:00:00 GMT 個人的に使っている LINE ボットをグループに参加させているのですが、送られた画像のうち「プライベート」な画像をクラウドの LLM API に送るのはちょっと抵抗がある、っていうことでガードレール的にローカル LLM で判定して、問題なさそうな画像だけをクラウドに送るようにしてます。 去年半ばから使い始めていて Gemma 3 4B でそれなりに動いていたのですが、Qwen 3.5 の評判が良かったり、つい最近 Gemma 4 も出てきたってことで、定量的に評価してみました。 ## 環境 * Ub https://sogo.dev/posts/2026/03/line-agui-adapter https://sogo.dev/posts/2026/03/line-agui-adapter Fri, 20 Mar 2026 00:00:00 GMT LINE Bot を作るとき、単純なテキスト往復だけならまだしも、画像や音声も扱いたい、既存の Agent 基盤をそのまま使いたい、将来は Web UI にも広げたい……となると意外と面倒です。 最近は多くのメジャーな Agent フレームワークが AG-UI を話せるようになっています。 今回作った SogoKato/line-agui-adapter は **LINE Messaging API と AG-UI の橋渡しをする Python ライブラリ** です。LINE から受け取ったメッセー https://sogo.dev/posts/2026/03/codex-meetup-tokyo-1 https://sogo.dev/posts/2026/03/codex-meetup-tokyo-1 Thu, 19 Mar 2026 00:00:00 GMT Codex Meetup Tokyo #1 に参加してきました。私自身は仕事で GitHub Copilot や Roo Code を使うことが多いので、Codex の話を聞けるのは新鮮でした。去年一瞬だけ ChatGPT Plus 課金してて使ってたけど、2026年になってからはコミットの勢いが段違いみたいなので全然様相が違うのかも、と思ったりしました。 以下拙いですが私のメモです。 ## Codex の最新アップデートを全部キャッチアップする <script async class="docsw https://sogo.dev/posts/2026/02/nextjs-authjs-behind-proxy https://sogo.dev/posts/2026/02/nextjs-authjs-behind-proxy Wed, 25 Feb 2026 00:00:00 GMT 表題の通りで Authjs v5 redirecting to the wrong URL という issue で知られている問題なんですが、2026年2月時点でもまだクローズされていません。Pull request も出ていて)、私もその修正を試してみたところ、それがマージされれば直りそうではあります。ただ、Auth.js は今後、セキュリティパッチや深刻な問題以外は対処されない可能性があるため [^1] 、マージされることはあまり期待できないかもしれません。 ということもあって、今回は同問題の暫定対 https://sogo.dev/posts/2026/01/copilotkit https://sogo.dev/posts/2026/01/copilotkit Thu, 29 Jan 2026 00:00:00 GMT ChatGPT や Gemini のようなチャット形式の UI を実現したくても、自分でイチから作るのは構成要素や検討事項が多くなかなか大変です。ストリーミングでレスポンスを返すにはサーバとクライアントでどういう形式で返す約束事にすれば良いのかとか、Markdown のレンダリングとか、いいねボタンとかとか…。 CopilotKit と AG-UI の組み合わせが、とてもイケていたので紹介します。 ## CopilotKit とは LLM や AI Agent アプリの UI を実現するためのオープ https://sogo.dev/posts/2026/01/docker-buildkit-rootless https://sogo.dev/posts/2026/01/docker-buildkit-rootless Tue, 13 Jan 2026 00:00:00 GMT 以前 Kaniko 関連の記事を書いていましたが、気づいたら Kaniko がアーカイブされていたので、同じくルートレスでビルドが可能な BuildKit に切り替えました。 Kaniko では `RUN --mount` が使えなかったり、レイヤーごとにスナップショットを撮っていてビルドに非常に時間がかかっていたり、ちょいちょい困っていました。特に後者は、最近重めのライブラリを入れたら（CI のタイムアウトとして設定してある）1時間経っても終わらないことが発生し始めたことが今回の調査のきっかけだったの https://sogo.dev/posts/2025/12/azure-ai-search-100k-plus-documents https://sogo.dev/posts/2025/12/azure-ai-search-100k-plus-documents Wed, 03 Dec 2025 00:00:00 GMT この記事は、FUJITSU Advent Calendar 2025 3日目の記事です。昨日は @norikmb の Dependency Proxy と Renovate に関する記事 でした。ハマりポイントを記事にしておくことって有益ですよね。今日の記事もそんな感じです。 --- Azure AI Search ではクエリで一括取得できる上限が10万件までという仕様があります。そのためインデックス作成時にスキーマ検討をミスって、どのフィールドもソート可能（sortable）じゃない状況にしてしまう https://sogo.dev/posts/2025/11/sqlmodel-pgvector https://sogo.dev/posts/2025/11/sqlmodel-pgvector Mon, 10 Nov 2025 00:00:00 GMT 前回の記事 で作った PostgreSQL + pgvector を使って、一般的な RAG で用いられるコサイン類似度検索やハイブリッド検索（Reciprocal Rank Fusion = RRF）を実装してみました。 ## 環境 * PostgreSQL 16.10 * pgvector 0.8.1 * pg_trgm 1.6 * Python 3.12.0 * langchain 1.0.5 * langchain-huggingface 1.0.1 * pgvector https://sogo.dev/posts/2025/11/cloudnative-pg-pgvector https://sogo.dev/posts/2025/11/cloudnative-pg-pgvector Fri, 07 Nov 2025 00:00:00 GMT 趣味で動かしているアプリ用にちょっとリッチな文字列検索ができるデータベースが欲しかったけどお金はかけられないので、いつもの K3s 製 Kubernetes クラスタ に PostgresSQL をデプロイして、前から気になっていた pgvector を使えるようにしてみました。 ## Operator 選定 PostgreSQL の operator をググってみたらいくつかの種類があるようでした。 Lethediana Tech さんの記事 を参考にさせてもらいましたが、2023年初頭時点の情報 https://sogo.dev/posts/2025/11/learn-agent-with-dify https://sogo.dev/posts/2025/11/learn-agent-with-dify Tue, 04 Nov 2025 00:00:00 GMT 毎日 AI Agent についての話題は絶えないですが、一方で「Agent って何？」みたいな人もいるかと思います。 今回はノーコード AI アプリ開発ツールである Dify を使って、LLM、RAG、Agent の違いをミニマルな形で手を動かして学んでみようと思います。とある機会でデモとして用意した内容なので、サクサクと手を動かしていければ準備を含めても30分くらいでいける内容だと思います。 ## 前提条件 * Dify SaaS 版 に登録済み * Google AI Studio の API キ https://sogo.dev/posts/2025/09/azure-ai-102 https://sogo.dev/posts/2025/09/azure-ai-102 Sat, 27 Sep 2025 00:00:00 GMT Microsoft AI-102 Azure AI Engineer Associate を取得したので学習メモです。 過去の資格に関する記事はこちら * AWS Certified Solutions Architect - Professionalを取得した * AWS Certified Solutions Architect - Associateを取得した * CKAD受検記録【2023年版】 * GCP未経験の新卒2年目がAssociate Cloud EngineerとProfession https://sogo.dev/posts/2025/09/dify-add-knowledge-in-conversation https://sogo.dev/posts/2025/09/dify-add-knowledge-in-conversation Mon, 15 Sep 2025 00:00:00 GMT Dify で会話しながら、AI が資料を探してくれて RAG ナレッジベースへの資料の追加までやってくれたら便利かもと思ったのでやってみました。 ## 環境 * Dify クラウド版（無料プラン） ## できたもの ```youtube MqhuiDMH3dM ``` 動画では、途中エージェント部分の処理は長いので4倍速にしています。 DSL ファイルはこちらです。 GoogleSearch.yml 動かすために必要なのは以下です。 * Gemini API キー（今回は Google https://sogo.dev/posts/2025/08/local-llm-ollama-on-k3s https://sogo.dev/posts/2025/08/local-llm-ollama-on-k3s Thu, 14 Aug 2025 00:00:00 GMT 個人的Ubuntu24.04 Serverセットアップメモ の続きです。VRAM 8 GB しかない GPU で、マルチモーダル入力可能なローカル LLM サーバーを構築していきます。結論、これからローカル LLM のために GPU を用意するなら RTX 40xx 世代以降がおすすめ。 ## 環境 * Ubuntu 24.04 Server * Ryzen 7 3700X * メモリ 32GB * NVIDIA GeForce RTX 2070 * VRAM 8 GB * nvidia-driv https://sogo.dev/posts/2025/08/setup-ubuntu-server https://sogo.dev/posts/2025/08/setup-ubuntu-server Wed, 13 Aug 2025 00:00:00 GMT 前回 個人的Ubuntu24.04 Desktopセットアップメモ を書きましたが、結局 Ubuntu Server に切り替えたのでその時のメモ。 ## 環境 * Ubuntu 24.04 Server * Ryzen 7 3700X * メモリ 32GB * NVIDIA GeForce RTX 2070 ## なんで Server 版にしたのか ローカル LLM とかを動かすサーバとして運用したくなった。Desktop 版のままでも良いかもとは思ったが、RDP 切断時に常時起動するはずの（ユ https://sogo.dev/posts/2025/07/recommend-similar-posts-using-embeddings https://sogo.dev/posts/2025/07/recommend-similar-posts-using-embeddings Tue, 01 Jul 2025 00:00:00 GMT RAG を調べるとまず最初に出てくる概念がテキストのベクトル化ですね。 テキストのベクトル化をブログの記事に対して実施して互いの類似度を計算すれば、精度高く関連記事を "RECOMMENDED" 欄に出せるはず！　っていうことで、やってみました。元々は同じタグを持っている記事を新しい順に表示しているだけでしたが、ちょっといい感じになりました。 このサイトは SSG で運用しているので、ビルドどこでやるかとか、ベクトルデータベースどこにするのかとかでちょっと悩みました。 ## 環境 * Next.j https://sogo.dev/posts/2025/06/setup-ubuntu-desktop https://sogo.dev/posts/2025/06/setup-ubuntu-desktop Mon, 30 Jun 2025 00:00:00 GMT メインのデスクトップ PC を Windows から Linux に変えたので、セットアップのメモです。 ## 環境 * Ubuntu 24.04 Desktop ## やったこと ### IME 2023年版 キーボードマッピングの個人的メモ キーボードはこの時と同じで HHKB US 配列でスペースキーの左右に Mac の `英数` `かな` キーを割り当て。かれこれ2年以上このマッピングなのでかなり指が馴染んでいる。 ところが Ubuntu のデフォルトの IME (ibus-mozc https://sogo.dev/posts/2025/05/code-tunnel-service-ubuntu-desktop https://sogo.dev/posts/2025/05/code-tunnel-service-ubuntu-desktop Fri, 30 May 2025 00:00:00 GMT Linux で VS Code の Remote tunnels を最初に使うときにサービスとしてインストールするかを聞かれたので、てっきり常時アクセスできるかと思いましたが、ログアウト時は使えない仕様だったのでシステムサービス化したら便利でした。 ## 環境 * Ubuntu 24.04 Desktop * VS Code 1.100.1 ## やったこと > Remote tunnels を最初に使うときにサービスとしてインストールするかを聞かれた ときに、裏で実行されたコマンドは `cod https://sogo.dev/posts/2025/05/tiptap-enter-keyboard-shortcuts https://sogo.dev/posts/2025/05/tiptap-enter-keyboard-shortcuts Wed, 28 May 2025 00:00:00 GMT TipTap のデフォルトの挙動では、Enter キーで改行（新しい段落に移動）したときにその時点のマーク（太字や斜体などのスタイル）が次の段落にも引き継がれるようになっています。 しかしながら、Notion をはじめ世の中の多くのエディタでは段落が切り替わったらマークはリセットされるという仕様になっていることが多く、そちらに慣れていると TipTap の仕様に違和感を感じたりします。今回は段落やリストアイテムが切り替わったら、スタイルをリセットするという仕様を実現する拡張機能を作ってみました。 ちょ https://sogo.dev/posts/2025/05/python-contextvars-asyncio https://sogo.dev/posts/2025/05/python-contextvars-asyncio Thu, 15 May 2025 00:00:00 GMT Python の非同期プログラミングで複数のタスクを並列に走らせると、タスクごとに独立した状態を持たせたくなる場面がしばしばあります。イメージしやすい例を挙げれば、Web サーバーでリクエストごとに独立した状態を持たせたい場合がそうだと思います。 そこで登場するのがコンテキストローカルな変数を提供する `contextvars` モジュールです。 本記事では `contextvars` の基本から、asyncio タスク内でシャローコピーが行われる際の落とし穴、そして安全に扱うためのパターンまでを解 https://sogo.dev/posts/2025/05/ragas-metrics-cheet-sheet https://sogo.dev/posts/2025/05/ragas-metrics-cheet-sheet Fri, 09 May 2025 00:00:00 GMT RAG システムの精度を評価するためのフレームワークとして2023年に RAGAS が提案されてから、RAGAS は進化を続けていて2025年5月時点では RAG において8つの指標が定義されています。[^1] ^1]: 論文に登場する3つの指標のうち Context Relevancy は既に廃止されています。Nvidia metrics の中にある [Context Relevance は計算方法が異なるため、別物です。 RAGAS を利用するメリットとして、一番大きな点は人間が作った正解のデータ https://sogo.dev/posts/2025/05/azure-container-apps https://sogo.dev/posts/2025/05/azure-container-apps Thu, 08 May 2025 00:00:00 GMT Azure Container Apps を触ってみて、他サービスと比べて選びたくなるポイントがあったので書いてみたいと思います。 ## 要約 * Azure Container Apps は Kubernetes ベースのマネージドなコンテナプラットフォーム * Kubernetes に慣れている人ならとても扱いやすいけど、面倒なクラスタ管理はしなくていい * Azure Container Apps では KEDA (Kubernetes-based Event Driven Autoscal https://sogo.dev/posts/2025/03/nextjs-dont-use-singleton-response https://sogo.dev/posts/2025/03/nextjs-dont-use-singleton-response Mon, 10 Mar 2025 00:00:00 GMT Next.js の App Router で API を作る時にはレスポンスを `NextResponse.json()` などで返すと思いますが、これを共通化したりする時にシングルトンにしてはいけない、という話です。 ## 何がダメなのか 同時にリクエストすると、レスポンスのボディを取得できなくなります。 ## 検証環境 * next 15.2.1 * react 19.0.0 * next-test-api-route-handler 4.0.15 ## コード ``` app/api ├ https://sogo.dev/posts/2025/03/assistants-api-vs-azure-ai-agent-service https://sogo.dev/posts/2025/03/assistants-api-vs-azure-ai-agent-service Sun, 09 Mar 2025 00:00:00 GMT Azure OpenAI Assistants API と Azure AI Agent Service を比較してみました。2025年3月時点での情報であり、両サービスともプレビュー版のため仕様が変更になることがあります。 ## 機能の比較 ### 共通していること * ステートフルな API を提供するので API 利用者はメッセージ履歴の保存をする必要がない * Code interpreter が使える * AI がコードを生成して API 側のサンドボックス環境で実行してくれる機能 * https://sogo.dev/posts/2025/02/local-file-locker https://sogo.dev/posts/2025/02/local-file-locker Mon, 03 Feb 2025 00:00:00 GMT ちょっとした思いつきで、ブラウザだけでファイルを暗号化して保管できるアプリを作れるのではないかと思い作ってみました。使い道はよくわからないですが、何かの役に立つこともあるかもしれません。 アプリ: https://sogo.dev/local-file-locker/ ソースコード: https://github.com/SogoKato/local-file-locker ファイルを選んで encrypt ボタンを押すと…… !local_file_locker_1 ファイルが暗号化されて保 https://sogo.dev/posts/2025/01/lottery-with-bash-jq https://sogo.dev/posts/2025/01/lottery-with-bash-jq Wed, 22 Jan 2025 00:00:00 GMT 表題の通り、配列の JSON から指定した数だけの要素をランダムで取り出すシェルスクリプトを jq のラッパーとして作ってみました。プルリクエストやマージリクエストのレビュワーをランダムで指名するときに、API で権限のあるメンバーリストを取得してその JSON から抽選できたらいいなーと妄想してます。 ## 前提条件 * Bash * jq ## 成果物 ```bash:jrand.sh #!/bin/bash input=$(jq . ${@:2}) length=$(echo $input https://sogo.dev/posts/2024/12/python-chunk-log https://sogo.dev/posts/2024/12/python-chunk-log Sat, 21 Dec 2024 00:00:00 GMT システムの仕様上、稀によくめちゃめちゃ長いログが発生することがありますね（？）。そういう時、そのまま出してしまうとログを収集したり集約したりするどこかの上限に引っかかってしまうことが考えられます。もしくは、閾値を超えたときに分割される場合もありますが、JSON のような構造化ログを送るようなケースでは分割されるとデータが破損してしまいます。そのような背景から、長いログの場合にはアプリ側で分割して構造化ログを吐き出せるようにした方がいいと考えて、作ってみました。 ## 成果物 ```python:pys https://sogo.dev/posts/2024/12/onnx-api https://sogo.dev/posts/2024/12/onnx-api Thu, 12 Dec 2024 00:00:00 GMT この記事は Fujitsu Advent Calendar 2024 の12日目の記事です。 昨日は @Syuparn さんの バックエンドの動作確認に使用できるワンライナーAPIサーバーの紹介 でした。私も動かしてみましたが、本当に動いていてすごいと思いました。 --- 優秀な弊弟が scikit-learn で、いぬの画像分類をするモデルを作ったのでそれを API として提供できるようにしてみました。下記はその奮闘記です。 ## 環境 * Python 3.12.2 * numpy 2.1. https://sogo.dev/posts/2024/10/building-whisper-api https://sogo.dev/posts/2024/10/building-whisper-api Thu, 24 Oct 2024 00:00:00 GMT 前回 ファイル保存なしでWhisper APIにLINE Messaging APIから音声を渡す という記事を書きましたが、OpenAI の API を使うと決める前はラズパイ上で Whisper を動かすことを企んでいました。今回はその記事になります。今回もファイル保存せずにやります。 作った API を Raspberry Pi 5 で動かしてみたのですが、数秒の medium モデルで音声を文字起こしするのに1〜2分はかかるので使い物にならなくてやめました。 ## 環境 * Python 3 https://sogo.dev/posts/2024/10/whisper-from-line-messaging-api https://sogo.dev/posts/2024/10/whisper-from-line-messaging-api Thu, 17 Oct 2024 00:00:00 GMT LINE Messaging API でユーザーから送られてきた音声を OpenAI の Whisper API に渡す方法はググるとたくさん出てきますが、私が見た範囲ではどれもサーバー内に一時ファイルを保存しているものだったので、ファイル保存なしでメモリ上でなんとかする方法を探してみました。 ## 想定読者 * LINE Messaging API の使い方を知っている人 * LINE ボットの作り方の解説は省きます * 一時ファイルの保存はしたくないというこだわりがある人 ## 環境 * https://sogo.dev/posts/2024/10/azure-pipelines https://sogo.dev/posts/2024/10/azure-pipelines Fri, 11 Oct 2024 00:00:00 GMT Azure DevOps の Azure Pipelines のパイプライン YAML に入門してみます。 ## 想定読者 * GitHub Actions や GitLab CI/CD には馴染みがあるけど Azure Pipelines はよく分からん人 * Azure Pipelines の YAML の書き方の雰囲気をつかみたい人 ## 公式ドキュメント まずはここを見ましょう。 Azure Pipelines の YAML スキーマ リファレンス ## 簡単な例 ```yaml t https://sogo.dev/posts/2024/09/ansible-postfix https://sogo.dev/posts/2024/09/ansible-postfix Mon, 30 Sep 2024 00:00:00 GMT Ansible で postfix をインストールして、各種設定ファイルを流し込む role の例です。 `tasks/main.yml` ```yaml - name: Update apt package list ansible.builtin.apt: update_cache: yes when: ansible_distribution == 'Debian' or ansible_distribution == 'Ubuntu' - name: Ensure postf https://sogo.dev/posts/2024/09/code-server-firefox-copy-paste https://sogo.dev/posts/2024/09/code-server-firefox-copy-paste Fri, 06 Sep 2024 00:00:00 GMT 小ネタです。Firefox で Code Server を使っている時にターミナルで Ctrl + V が効かなくて困ったのでメモ（Chromium 系のブラウザでは問題なし）。 アドレスバーに `about:config` と入力して `dom.events.testing.asyncClipboard` を `true` にすれば OK。 調べてみたら https://github.com/coder/code-server/issues/1106 には他の WA も載ってた。 https://sogo.dev/posts/2024/09/diff-files-in-directories https://sogo.dev/posts/2024/09/diff-files-in-directories Wed, 04 Sep 2024 00:00:00 GMT 小ネタです。2つのディレクトリ内のファイルの差分を取る方法。 個人的最終形は以下。 ``` diff -r --speed-large-files dir1 dir2 ``` 中身が異なっているファイルの差分だけを表示してくれます。 ``` $ tree dir1 dir2 dir1 |-- fuga `-- hoge `-- foo dir2 |-- fuga # dir1と同じ `-- hoge `-- foo 2 directories, 4 files $ diff -r https://sogo.dev/posts/2024/08/scheduling-unattended-upgrades https://sogo.dev/posts/2024/08/scheduling-unattended-upgrades Fri, 23 Aug 2024 00:00:00 GMT Unattended upgrades をいつ実行するかを設定する方法のメモです。 関連記事 * Unattended upgradesのドキュメントを読む * Unattended upgrades + needrestartで安全な自動アップグレードを考える 環境: Ubuntu 22.04 ## Unattended upgrades 呼び出しのスケジューリング Systemd timer がデフォルトで設定されているのでこれを変えれば良いです。 * apt-daily.timer: パッ https://sogo.dev/posts/2024/07/pwa-appearance https://sogo.dev/posts/2024/07/pwa-appearance Sun, 28 Jul 2024 00:00:00 GMT PWA (Progressive Web App) が普及し始めてからしばらく経ちました。Android が積極的に対応を進めてきましたが、最近は iOS でもそれなりに対応が進みました。久しぶりに PWA と向き合い、今時のスマホ向けに見栄えを良くするための設定をまとめました。 ## やること * アイコン * ステータスバーの色の設定 * iPhone の画面への対応 通知や Service Worker 等の機能面はこの記事のスコープ外とします。 ## デモ <a href="/asset https://sogo.dev/posts/2024/07/platform-engineering-kaigi-2024 https://sogo.dev/posts/2024/07/platform-engineering-kaigi-2024 Sat, 13 Jul 2024 00:00:00 GMT Platform Engineering Kaigi 2024 に当日スタッフとして参加してきました。セッションを通じた自分なりの感想と、初めてカンファレンスの運営に携わったことについての感想を残しておきたいと思います。 ## イベント概要 https://www.cnia.io/pek2024 以下の説明がとても端的に要点を得ていると思うので、引用します。 > Platform Engineering Kaigiは、現在注目を浴びているPlatform Engineeringをテーマにしたテクノ https://sogo.dev/posts/2024/07/apt-snapshot https://sogo.dev/posts/2024/07/apt-snapshot Wed, 03 Jul 2024 00:00:00 GMT 指定した時点でのリポジトリの情報を返してくれる snapshot.ubuntu.com というものがあることを知ったので試してみました。 ## なにが嬉しいの？ apt でパッケージをインストールしたり更新したりする際、例えば検証環境と本番環境とで期間が空いてしまうとその間に新しいバージョンがリリースされて違うバージョンが入ってしまうことがあります。同じように作成したサーバーなのに入っているパッケージのバージョンが作成時点によって違うというのは嬉しくないため、検証時点でリリースされているバージョンに固 https://sogo.dev/posts/2024/07/go-slog-multi-slack https://sogo.dev/posts/2024/07/go-slog-multi-slack Mon, 01 Jul 2024 00:00:00 GMT Go 1.21 から使えるようになった標準の構造化ログライブラリ slog を使ってロギングをうまくやろうと画策してみました。 ## やること * 標準出力と Slack にログを送る * 標準出力には全部のログ * Slack には指定したログのみを送る !uml 今回は送信先として Slack を使用していますが、samber 氏が Fluentd や Kafka 等様々なライブラリを公開してくれているので、用途に合わせて見てみると良いと思います。 ## 環境 * Go 1.22. https://sogo.dev/posts/2024/06/aws-mountpoint-s3-csi-driver https://sogo.dev/posts/2024/06/aws-mountpoint-s3-csi-driver Thu, 20 Jun 2024 00:00:00 GMT AWS が公開している mountpoint-s3-csi-driver を使うと Kubernetes 上のコンテナから S3 オブジェクトをファイルシステム的に扱えるようになるみたいなので、（EKS クラスターは持っていないので自宅のクラスタで）試してみました。 画像などのファイルをキャッシュとして置いているアプリケーションをコードの書き換えなしで S3 に置くようにしたり、大きめの（コンテナイメージには含めたくない）ファイルを S3 に置いておいて読み込むようにしたりとか、便利に使えるシチュエーシ https://sogo.dev/posts/2024/05/run-fugaku-llm-locally https://sogo.dev/posts/2024/05/run-fugaku-llm-locally Sat, 18 May 2024 00:00:00 GMT スパコン「富岳」で学習したという「Fugaku-LLM」を自宅 PC で動かしてみました。既に多くの方が Colab とか Ollama とかで試しているみたいですので n 番煎じですが、自分でも触ってみたかったので。 https://github.com/SogoKato/run-fugaku-llm ## 環境 * Windows 11 * WSL 2 + Docker Desktop * GeForce RTX 2070 (8GB RAM) * AMD Ryzen 7 3700X * 32GB https://sogo.dev/posts/2024/05/docker-config-json https://sogo.dev/posts/2024/05/docker-config-json Fri, 17 May 2024 00:00:00 GMT 基本的なところで無駄にハマってしまったので自分への戒め。 `~/.docker/config.json` に入っている Docker の認証情報は以下のような構造をしています（Docker Desktop だと OS の機密情報ストアを使っていたりするので `{}` だったりします）。 ```json { "auths": { "https://index.docker.io/v1/": { "auth": "c3R...zE2" } } } ``` これを手で作 https://sogo.dev/posts/2024/05/unattended-upgrades-needrestart-ubuntu https://sogo.dev/posts/2024/05/unattended-upgrades-needrestart-ubuntu Thu, 16 May 2024 00:00:00 GMT 前回は Unattended upgrades のドキュメントを読みました。今回は実際のサーバーで自動アップグレードを適用するように設定していくために気になるところを解消していきたいと思います。 以下の状況を想定します。 * セキュリティパッチの適用が目的 * Docker が動作するサーバーである * なので…… * Docker のバージョンは固定したい * Docker コンテナは止めたくない * 何かあった時のためにログは残したい ## 考えること * 自動更新の対象を https://sogo.dev/posts/2024/05/unattended-upgrades https://sogo.dev/posts/2024/05/unattended-upgrades Tue, 14 May 2024 00:00:00 GMT `gzip -d /usr/share/doc/unattended-upgrades/README.md.gz` して取り出した Unattended upgrades のドキュメントを読んでみます。訳文の作成には翻訳ツール（Google 翻訳）を使用しつつ、一部訂正しています。 環境: Ubuntu 22.04 LTS --- Unattended upgrades =================== このスクリプトは、パッケージを無人で自動的にアップグレードします。 コマンドラインから https://sogo.dev/posts/2024/05/redis-sentinel-haproxy-on-k8s https://sogo.dev/posts/2024/05/redis-sentinel-haproxy-on-k8s Sat, 11 May 2024 00:00:00 GMT おうち Kubernetes で動かすアプリの一時的なデータの保存場所として Redis を使用しています。redis イメージのコンテナを立てているだけで何の永続化もしていないのでコンテナが落ちればもちろんデータは消えます。本当に永続化したい情報は DynamoDB に格納しているとはいえ、もうちょい Redis の可用性（というか永続性？）も上げたい、でもクラウドのマネージドサービスを使うほどでもない……という微妙な要件を満たすために Redis Sentinel に挑戦してみます。 ## やること https://sogo.dev/posts/2024/04/request-iphone-internet-sharing-from-android https://sogo.dev/posts/2024/04/request-iphone-internet-sharing-from-android Sun, 21 Apr 2024 00:00:00 GMT Apple 製の端末同士であれば、同じ Apple ID の端末や家族の端末側の操作で親機となる iPhone のテザリングを開始させることができますが、当然ながら Android 機から iPhone のテザリングを開始させる手段は提供されていません。 最近訳あって iPhone（SIM あり）と Android（SIM なし）の2台持ちをしていて、iPhone を触らなくてもテザリングを始められたらいいのにと思い、これを実現するショートカットを作ったのでメモです。 ## 仕組み 2台のスマートフ https://sogo.dev/posts/2024/04/cross-browser-extension https://sogo.dev/posts/2024/04/cross-browser-extension Tue, 16 Apr 2024 00:00:00 GMT ブラウザ拡張機能開発のために用意されている API は基本的にブラウザ間で共通化されていて、同じコードベースでクロスブラウザ対応させることが可能です。 > Firefox の拡張機能は WebExtensions API を使ってビルドされ、この API は拡張機能をクロスブラウザーで開発するシステムです。このシステムの大半は Google Chrome と Opera と W3C Draft Community Group でサポートされている extension API と互換性があります。 ht https://sogo.dev/posts/2024/04/introducing-tanuki-utilities https://sogo.dev/posts/2024/04/introducing-tanuki-utilities Fri, 05 Apr 2024 00:00:00 GMT 以前 Qiita で書いた GitLabのタブを開きすぎて見分けづらいのでfaviconを変える拡張機能を作った の記事のブラウザ拡張機能を **Tanuki Utilities** と改称してリニューアルしたので改めて紹介します。名前の通り、GitLab ユーザに便利な機能を提供するための拡張機能です。 * ソースコード https://github.com/SogoKato/gitlab-project-favicon/ * Firefox https://addons.mozill https://sogo.dev/posts/2024/04/quasar-nuxt-sass https://sogo.dev/posts/2024/04/quasar-nuxt-sass Mon, 01 Apr 2024 00:00:00 GMT Vue.js のためのフレームワークである Nuxt 3 と UI フレームワークである Quasar を組み合わせて使うときに Sass を設定する方法です。Nuxt 3 + Quasarで、Sass Variablesが使えない問題を解消したの記事を初めに拝見したのですが、2024年4月時点で `@quasar/vite-plugin` のインストールは不要だったので書き留めておきます。 ## やること ### 環境 * node 20.12.0 * pnpm 8.15.5 * vue 3.4. https://sogo.dev/posts/2024/03/juice-gpu-over-ip https://sogo.dev/posts/2024/03/juice-gpu-over-ip Thu, 28 Mar 2024 00:00:00 GMT Windows PC に GPU を取り付けておきつつ、必要に応じてラズパイやクラウドのサーバーから自宅の GPU リソースを活用出来たら嬉しいなと思い調べてみたら、Juice Labs という組織が GPU-over-IP の Juice というソフトウェアを開発していたので試してみました。 ただし、2024年3月現在、GitHub で公開されているコミュニティバージョンは開発を停止しているようです。 > We've been hard at work building the core Juice https://sogo.dev/posts/2024/03/openssl-conf-legacy https://sogo.dev/posts/2024/03/openssl-conf-legacy Wed, 27 Mar 2024 00:00:00 GMT レガシーなプロトコルやアルゴリズムにしか対応していないサーバーに接続する際、最近の OpenSSL がインストールされた環境からはデフォルト設定のままでは接続できないことがあります。サーバー側がすぐに改修できないなどのやむを得ない状況で回避する方法を紹介します。 ## やること OpenSSL は `OPENSSL_CONF` 環境変数に設定ファイルへのパスを入れることで作成した設定ファイルを読み込んでくれます。 今回は任意のディレクトリに次のような設定ファイルを作ります。 ``` openssl https://sogo.dev/posts/2024/03/practical-monitoring https://sogo.dev/posts/2024/03/practical-monitoring Tue, 19 Mar 2024 00:00:00 GMT 『入門 監視』（Mike Julian 著、松浦隼人訳）を読んだのでまとめ。 エンジニアになって3年、開発も運用も、そして障害やビジネスの変化も経験したので身に沁みる点もあり、明日からのサービス改善に活かしていきたいと思いました。素晴らしい本を執筆・翻訳くださった方々へ、その努力に敬意を表するとともに感謝申し上げます。 ## 第Ⅰ部 監視の原則 ### 1章 監視のアンチパターン > 1.1 アンチパターン1：ツール依存 > 1.1.1 監視とは複雑な問題をひとくくりにしたもの > 1.1 https://sogo.dev/posts/2024/03/m2-ssd-boot-raspberrypi-5 https://sogo.dev/posts/2024/03/m2-ssd-boot-raspberrypi-5 Sun, 03 Mar 2024 00:00:00 GMT Raspberry Pi 5 の目玉機能の一つは M.2 SSD への対応とのことで、せっかくなので試してみました。 !NVMe Base ## 使ったもの * Raspberry Pi 5 8GB * NVMe Base for Raspberry Pi 5 – NVMe Base + 250GB SSD * 2つで65ポンド + 送料7.5ポンド（13,985円 = 1つあたり約7,000円） * https://shop.pimoroni.com/products/nvme-base? https://sogo.dev/posts/2024/03/google-adsense-nextjs https://sogo.dev/posts/2024/03/google-adsense-nextjs Sat, 02 Mar 2024 00:00:00 GMT ブログを始めてから1年そこそこが経過し、50記事を突破していました。かなりのんびり更新なので一般的に目標と言われる100記事には全然届いてないですが、ふと思い立って Google AdSense に登録してみたら半日くらいであっさり審査に通過したので Next.js 製 SSG サイトに広告を導入しました。なるべくコンテンツを邪魔しないように配置しますのでどうかご容赦ください。🙇 ## そもそも GitHub Pages に広告入れていいんだっけ？ GitHub の利用規約 を確認してみると次のよう https://sogo.dev/posts/2024/03/google-tag-manager-nextjs https://sogo.dev/posts/2024/03/google-tag-manager-nextjs Fri, 01 Mar 2024 00:00:00 GMT ブログ開設当初に Next.jsとTailwind CSSでブログを作るときに考えたこと の記事で紹介したように、このブログは Next.js で作られています。作ったころの Next.js のバージョンは12だったのですが、2024年2月時点で14まで進んでいます。改めて Google Tag Manager と向き合ってみたら公式ライブラリで簡単に導入できるようになっていたので共有です。 ## 公式ライブラリ @next/third-parties @next/third-parties というラ https://sogo.dev/posts/2024/02/stable-diffusion-raspberrypi-5 https://sogo.dev/posts/2024/02/stable-diffusion-raspberrypi-5 Mon, 26 Feb 2024 00:00:00 GMT Raspberry Pi 4B より2倍速い CPU を積んでいるという Raspberry Pi 5 で、Stable Diffusion で画像生成をさせるとどれくらい差があるのか試してみたら噂通りの実力が発揮されました。画像生成ですが、GPU ではなく CPU でゴリ押しするだけなので純粋な CPU 対決です。 !a black tree with golden leaves painted by Monet, autumn ## 使ったもの * Raspberry Pi 5 8GB * Ra https://sogo.dev/posts/2024/02/fastapi-pydantic-v2 https://sogo.dev/posts/2024/02/fastapi-pydantic-v2 Tue, 20 Feb 2024 00:00:00 GMT Pydantic V2 が2023年6月にリリースされました。結構いろいろ変わっていて移行作業はそこそこ大変な気がしますが対応される方は Migration Guide を読んで頑張ってください。 私はというと V1 のころに Pydantic の `@validator` デコレータをカスタムしまくったので、V2 でそれがほぼ使えなくなってしまいました。そもそもなんでカスタムしたのかというと、バリデータのメソッドに DB にアクセスするためのセッションオブジェクトとかを渡したかったからでした。V2 で https://sogo.dev/posts/2024/02/kaniko-cache-cleanup https://sogo.dev/posts/2024/02/kaniko-cache-cleanup Thu, 15 Feb 2024 00:00:00 GMT 前に Kanikoでコンテナイメージつくるならcache=trueは有効にしておこう という記事を書きましたが、とりあえず有効にしといたら罠があったので書いておきます。 ## Kaniko のコンテナ1つで複数のコンテナをビルドしないほうがいい おそらく、Kaniko が CI 前提のツールなので、複数回のビルドのために使われることを想定していないのではないでしょうか。 気を付けるべき条件は以下です。 * `--cache-true` を指定している * コンテナ1つで複数のコンテナをビルドしてい https://sogo.dev/posts/2024/02/squid-in-docker https://sogo.dev/posts/2024/02/squid-in-docker Tue, 06 Feb 2024 00:00:00 GMT Squid を Docker コンテナで実行したかったのですが、2024年2月現在で最新の v6 で起動するものがなさそうだったので作りました。apt リポジトリにはビルド済みの squid がないのですが、alpine にはあったので alpine を使うと楽です。また、シャットダウン時の挙動に要注意。 ## できたもの * SogoKato/docker-squid * noroch/squid - Docker Image | Docker Hub sameersbn/docker-squid https://sogo.dev/posts/2024/01/langchain-agent-tools-function-calling https://sogo.dev/posts/2024/01/langchain-agent-tools-function-calling Wed, 24 Jan 2024 00:00:00 GMT 個人で使っている LINE bot を賢くしたくて、ChatGPT を組み込んでみました。ChatGPT を自分のアプリに組み込むのは初めてなのですが、LangChain の機能の豊富さに驚かされました。 ## 対象読者 * 人間のあいまいな指示を機械が実行できるアクションに落とし込ませたい人 ## 検証環境 * Python 3.11.6 * LangChain 0.1.1 * langchain-openai 0.0.2.post1 ## できたもの ```python from data https://sogo.dev/posts/2024/01/fluentd-docker-split-logs https://sogo.dev/posts/2024/01/fluentd-docker-split-logs Mon, 15 Jan 2024 00:00:00 GMT Docker のログドライバーは 16KiB (16384 バイト) 以上のメッセージの場合、ログを分割してしまいます。 fluent-plugins-nursery/fluent-plugin-concat を使うことで分割されてしまったログを連結して1つにまとめられるようなので検証してみました。 ## 試してみる 用意したファイルは以下です。16383バイトのログと16384バイトのログを20秒間隔で出力するアプリを用意して docker の fluentd ログドライバーで fluentd コ https://sogo.dev/posts/2024/01/git-credential-cache-in-container https://sogo.dev/posts/2024/01/git-credential-cache-in-container Thu, 11 Jan 2024 00:00:00 GMT git でリモートサーバーに HTTPS で接続する時、ユーザー名やパスワードを入力する必要がありますが、push や pull のたびに入力するのは面倒ですよね。git には標準で認証情報を管理してくれる仕組みがあり、毎回の入力を省略することができます。 Windows や Mac の場合は OS の認証情報管理の仕組みと連携することができますが、Linux では `store` モードか `cache` モードしかありません。`store` モードでは平文でパスワードが書き込まれてしまい安全ではない https://sogo.dev/posts/2023/12/cedar-rbac https://sogo.dev/posts/2023/12/cedar-rbac Thu, 07 Dec 2023 00:00:00 GMT この記事はニフクラ等を提供している、富士通クラウドテクノロジーズ Advent Calendar 2023の7日目の記事です。 昨日は @George22e さんの ヴァイオリンの音色のよさはスペクトラムアナライザーで分かるか試してみた でした。 自らの演奏とプロの演奏を可視化して分析する姿勢にエンジニアリングの精神と通じるものを感じました。私も仕事でも趣味でも本気でエンジニアリングしていきたいです。 今日は AWS が公開しているアクセス制御用のオープンソース言語 Cedar とその認可エンジン https://sogo.dev/posts/2023/11/rye-with-docker https://sogo.dev/posts/2023/11/rye-with-docker Sat, 18 Nov 2023 00:00:00 GMT Rye は Rust 製の Python パッケージマネージャです。まだ「実験的」なステータスなので全ての方にお勧めできる段階ではないかもしれないですが、十分に実用的で安定していると思います。Pipenv や Poetry との違いは、パッケージ管理だけでなく、Python バージョンの管理までやってくれるところが特徴で、Pipenv/Poetry + pyenv が1つのツールにまとまっているイメージです。 さて、今回は Rye を Docker コンテナで使う時のポイントをまとめてみました。Rye https://sogo.dev/posts/2023/11/implementing-aws-sigv4-server https://sogo.dev/posts/2023/11/implementing-aws-sigv4-server Thu, 09 Nov 2023 00:00:00 GMT 世の中には AWS Signature V4 署名の実装方法についての記事はたくさんありますが、その署名を付与して検証する側（サーバー）の実装方法について見つけるのは難しいです。AWS API Gateway を使えば簡単に自分で書かなくても良いのでそれはそうなのですが、AWS SigV4 は curl のオプションとしても使える くらいの地位を獲得しているので、AWS SigV4 を利用した認証機能の実装方法についての記事があってもいいでしょう。 ということで、今回は Python と FastAPI https://sogo.dev/posts/2023/11/bitwarden-passkey https://sogo.dev/posts/2023/11/bitwarden-passkey Wed, 08 Nov 2023 00:00:00 GMT パスワードマネージャによる Passkey のサポートが進んでいます。 私は Bitwarden を使ってパスワードなどの機密情報を保存しているのですが、ついに Bitwarden による Passkey 対応が始まりました。公式ブログでも11月7日に投稿されています。 ## 環境 * Bitwarden Firefox アドオン 2023.10.1 * Firefox 118.0.2 ## 試してみる 既にいくつものサービスが Passkey 対応していますが、今回は Google アカウント https://sogo.dev/posts/2023/10/gitlab-remote-development https://sogo.dev/posts/2023/10/gitlab-remote-development Tue, 24 Oct 2023 00:00:00 GMT VS Code Serverでリモートホストのコンテナ上開発環境に直接アクセスするの記事にて GitHub でやっている「ぼくのかんがえたさいきょうのかいはつかんきょう」第2弾です。今回は GitLab を使ってリモート開発環境を構築してみたいと思います。 なお、GitLab には Premium 以上のライセンスで使える Workspaces という機能が 16.0 で登場しましたが、今回はそれではなく、自分でコンテナを立ててそこにアクセスする形になります。こちらは無料ライセンスで使えます。ただし執 https://sogo.dev/posts/2023/09/github-actions-goreleaser https://sogo.dev/posts/2023/09/github-actions-goreleaser Tue, 26 Sep 2023 00:00:00 GMT 前回の記事で紹介した nifdiff をリリースする際に、簡単に GitHub actions を使って Go 製ツールをビルドしてリリースする方法を見つけたのでメモです。 ## ポイント * GoReleaser を使うと Go で作ったソフトウェアを素早く出荷できる * kyoh86/git-vertag-action を使うと最新のバージョンから +1 メジャー・マイナー・パッチバージョンアップしたバージョンのタグを作成できる ## 今回やったこと * Go 製ツールをクロスコンパイルして、 https://sogo.dev/posts/2023/09/nifdiff https://sogo.dev/posts/2023/09/nifdiff Mon, 25 Sep 2023 00:00:00 GMT 2つのファイアウォールグループのルールの差分を見たいことがあって、ちょっとしたツールを作ってみました。 ## nifdiff とは * 2つのニフクラリソースの差分を見ることができるツール * 同一アカウント内であれば、リージョンまたぎで比較できる * 現状対応しているのはファイアウォールグループのみ https://github.com/SogoKato/nifdiff こんな感じのコマンドを投げると ``` nifdiff nrn:nifcloud:computing:jp-east-1:: https://sogo.dev/posts/2023/09/aws-solutions-architect-professional https://sogo.dev/posts/2023/09/aws-solutions-architect-professional Thu, 21 Sep 2023 00:00:00 GMT AWS 認定ソリューションアーキテクト - Professional (SAP-C02) の資格を取得したので学習メモです。 過去の資格に関する記事はこちら * AWS Certified Solutions Architect - Associateを取得した * CKAD受検記録【2023年版】 * GCP未経験の新卒2年目がAssociate Cloud EngineerとProfessional Cloud Architectを連続で受検したときの記録 * 新卒エンジニアがCKA取得を目指してK https://sogo.dev/posts/2023/09/fluentd-docker-swarm https://sogo.dev/posts/2023/09/fluentd-docker-swarm Fri, 15 Sep 2023 00:00:00 GMT Docker Swarm 上のサービスのログを fluentd を使って送信するためのメモです。 Kubernetes で同様のことを実現する場合、Forwarder として使う fluentd を DaemonSet として起動してノード上のログを集めさせることが一般的です。今回は Swarm クラスター内の各ノードに1つずつ fluentd を起動して、あるノード上で動くコンテナのログはそのノード上の fluentd に集まるように設定していきます。 ## ポイント * 各ノードに配置するには https://sogo.dev/posts/2023/09/volumio-raspberrypi-zero https://sogo.dev/posts/2023/09/volumio-raspberrypi-zero Sat, 09 Sep 2023 00:00:00 GMT 掲題の通りです。今更ながら、その辺に転がっているラズパイゼロ（初代、Wi-Fi 付）とその辺に転がっている中華 USB-DAC を使って Spotify Connect 用の環境を整えようと Volumio を入れてみました。 ## 使ったもの * Raspberry Pi Zero WH * Micro SD * 電源（Apple の 5W 1A のやつで十分） * Micro USB ケーブル * USB OTG ケーブル（Micro USB オスから USB A メスに変換するやつ） * Min https://sogo.dev/posts/2023/08/aws-solutions-architect-associate https://sogo.dev/posts/2023/08/aws-solutions-architect-associate Sun, 13 Aug 2023 00:00:00 GMT AWS 認定ソリューションアーキテクト - Associate (SAA-C03) の資格を取得したので学習メモです。 過去の資格に関する記事はこちら * CKAD受検記録【2023年版】 * GCP未経験の新卒2年目がAssociate Cloud EngineerとProfessional Cloud Architectを連続で受検したときの記録 * 新卒エンジニアがCKA取得を目指してKubernetesを勉強したときの記録 続きの記事 → AWS Certified Solutions Arc https://sogo.dev/posts/2023/07/synology-hyper-backup-rsync-over-ssh https://sogo.dev/posts/2023/07/synology-hyper-backup-rsync-over-ssh Sat, 22 Jul 2023 00:00:00 GMT 先日 Synology の NAS を導入したのですが、耐障害性を考慮すると別の拠点とのバックアップが欲しくなってきます。Synology の NAS は QuickConnect を利用することで Synology 社のサーバーを経由することで、自宅のポートを開放せずに構築することができるのがメリットです。バックアップ用途のためだけでにポートを開放するのはアレなので、自宅からのアウトバウンドの通信で定期的にバックアップを行う方法を検討しました。 ## 構成 超シンプル構成です。 !構成図 NAS https://sogo.dev/posts/2023/07/fluentd-nifcloud-object-storage-service https://sogo.dev/posts/2023/07/fluentd-nifcloud-object-storage-service Wed, 05 Jul 2023 00:00:00 GMT Fluentd の fluent-plugin-s3 を使ってニフクラのオブジェクトストレージサービスにログをアップロードする時のメモです。 ## ポイント * `s3_endpoint` を指定する * https://jp-east-1.storage.api.nifcloud.com または https://jp-west-2.storage.api.nifcloud.com * 参照: エンドポイント * `force_path_style` を true にする * オブジェクト https://sogo.dev/posts/2023/06/reflection https://sogo.dev/posts/2023/06/reflection Sun, 25 Jun 2023 00:00:00 GMT 先日、この半年くらい担当させてもらった仕事が一区切りついたので振り返りをしておこうかなと思います。 全部よくある話だと思いますが、「経験しないとわからないこともあるものだ」ということで、今回は思考垂れ流し回です。 ## とにかく余裕を 取り掛かり始めたころ、諸先輩方にファーストリリースではとにかく最低限のものを作るように言われたが、今ならそれが身に沁みてわかる。スケジュール的に余裕を持たせる効果のほか、エンハンスの伸びしろも大きくなるので、リリース後に機能拡充していくことで対外的な見た目が良くなる効 https://sogo.dev/posts/2023/06/k8s-raspi-gpio https://sogo.dev/posts/2023/06/k8s-raspi-gpio Sat, 24 Jun 2023 00:00:00 GMT 今まで Docker Compose で動かしてたアプリを Kubernetes に移植したときのメモです。 ## Docker Compose では Docker の `--device` オプションと同じ記法で指定できていました。 ```yaml services: app: image: hoge devices: - /dev/gpiomem ``` ## Kubernetes では デバイスプラグインを使用して Kubelet にハードウェアリソースを知 https://sogo.dev/posts/2023/06/ubuntu-22.04-raspi-config.txt https://sogo.dev/posts/2023/06/ubuntu-22.04-raspi-config.txt Wed, 14 Jun 2023 00:00:00 GMT タイトルの通りです。これにしばらくハマってしまったので戒めのために書いておきます。 ## tl;dr Ubuntu 20.04 の時と同じ設定ファイルをラズパイの /boot/firmware に入れていたけど反映されていなかった。調べてみたらそのファイルを include する文が Ubuntu 22.04 では消されていた。 ## そもそも config.txt とは？ > The Raspberry Pi uses a configuration file instead of the BI https://sogo.dev/posts/2023/06/k3s-setup https://sogo.dev/posts/2023/06/k3s-setup Tue, 13 Jun 2023 00:00:00 GMT 今まで kubeadm でクラスター運用をしていたのですが、ラズパイくんたちのお引越しの関係で再構築することにしました。Raspberry Pi 4B 2GB や 3A+（RAM 512MB）も join させたかったこともあり、エッジ環境での動作も想定されている K3s を選びました。 ## 環境 * Raspberry Pi 4B 8GB x 2, Raspberry Pi 4B 4GB x 1, Raspberry Pi 4B 2GB x 1 * SSD ブート * PoE+ 電源 https://sogo.dev/posts/2023/05/celery-sqlalchemy https://sogo.dev/posts/2023/05/celery-sqlalchemy Mon, 15 May 2023 00:00:00 GMT 前回の記事では SQLAlchemy の Session について解説しました。今回はその応用として、Celery においてどのように Session を管理するかを考えたいと思います。 関連記事： * SQLAlchemyのセッション・トランザクションを理解する * SQLAlchemyで'MySQL server has gone away'が発生した時の対処法2つ ## 結論 以下のように DB 操作を行うタスクのためのクラスを作ります。 ```python from typing impo https://sogo.dev/posts/2023/05/sqlalchemy-sessions-and-transactions https://sogo.dev/posts/2023/05/sqlalchemy-sessions-and-transactions Sun, 14 May 2023 00:00:00 GMT SQLAlchemy の Session や scoped_session、トランザクションに関して理解していきます。 ## 用語おさらい ### セッション（Session） SQLAlchemy の Session オブジェクトは、ORM マッピングされたオブジェクトの永続化に関する操作を管理するオブジェクトです。 `sqlalchemy.orm.Session` を直接インスタンス化しても良いですが、実環境では sessionmaker を使うことが一般的です。sessionmaker は https://sogo.dev/posts/2023/04/datatable-react https://sogo.dev/posts/2023/04/datatable-react Sat, 22 Apr 2023 00:00:00 GMT 最近、MUI の妹分の UI ライブラリである Joy-UI を使ってます。現在進行形で活発に開発が進んでいて、設計（デザイン）も今時な感じで好感触です。ところどころまだ開発されていないコンポーネントもちらほらあるものの、ドキュメントには代替策がコード付きで載っていてとても親切です。 MUI X というより発展的なコンポーネントをもつ UI ライブラリもあるのですが、そこに今回のテーマである「データテーブル」に該当する Data Grid というものがあります。これは超すごくて、雑に言うと Excel https://sogo.dev/posts/2023/04/kaniko-cache https://sogo.dev/posts/2023/04/kaniko-cache Tue, 18 Apr 2023 00:00:00 GMT !ぜんぜんわからない　俺たちは雰囲気でカニコをやっている 恥ずかしながら、わたしは雰囲気で kaniko にコンテナイメージのビルドをしてもらっていることに気づきました。1年以上 GitLab CI で kaniko を使っておきながら、ただ「特権コンテナを使わずにイメージつくれるやつ」くらいの認識しかしていなかったです。 続きの記事: Kanikoでcache=trueにするなら1コンテナ1ビルドで ## kaniko の cache=true オプション kaniko には `--cache` https://sogo.dev/posts/2023/04/reverse-proxy-to-home-ipoe-network https://sogo.dev/posts/2023/04/reverse-proxy-to-home-ipoe-network Sat, 15 Apr 2023 00:00:00 GMT PPPoE 回線が遅いので IPoE（IPv4 over IPv6）へ移行しようと思いました。以前は2つのルーターを使って、PPPoE と IPoE の2セッションを張ることができたのですが、ある時からできなくなり、しばらく PPPoE だけで生活していました。とはいえやはり遅い、遅すぎる……ということで、今回の記事に至ります。 IPoE に移行するにあたっての課題は**任意のポートを開放できないこと**です。 代わりの方法を考えていたところ、ちょうど手元に1台 AWS Lightsail のサーバー https://sogo.dev/posts/2023/03/certified-kubernetes-application-developer https://sogo.dev/posts/2023/03/certified-kubernetes-application-developer Thu, 30 Mar 2023 00:00:00 GMT 2023年3月30日に Certified Kubernetes Application Developer (CKAD) を受験し、合格しましたのでその受検記録記事です。ちょうど1年前に Certified Kuberenetes Administrator (CKA) を取っていたので、その続きとなります。 前回の記事：新卒エンジニアがCKA取得を目指してKubernetesを勉強したときの記録 ## 対象読者 * Kubernetes を使っているが、資格はまだ取ってない人 * CKA を取っ https://sogo.dev/posts/2023/03/pyscript-codeblock https://sogo.dev/posts/2023/03/pyscript-codeblock Mon, 06 Mar 2023 00:00:00 GMT 前回の記事を書くときに WebAssembly でブログのコードブロックのコードを実行させられたら面白いかも、ということで PyScript を使って実装してみました。React & Next.js で使う際の注意点についても書こうと思います。 以下については前提知識としてこの記事では解説しません。 * PyScript * Pyodide * WebAssembly * react-markdown のコードブロック（バッククォート3つ \```）をカスタマイズする方法 ## 2024-12-21 https://sogo.dev/posts/2023/03/python-unittest-mock-where-to-patch https://sogo.dev/posts/2023/03/python-unittest-mock-where-to-patch Sat, 04 Mar 2023 00:00:00 GMT Python 公式ドキュメントの unittest.mock のページにドンピシャの内容が書いてありますが、なかなか気づけずにハマってしまっていたのでメモです。 `unittest.mock.patch` でパッチしたけど当たってない気がする人は参考にしてみてください。 下記の引用に要点が凝縮されています。 > ### どこにパッチするか > > `patch()` は (一時的に) ある 名前 が参照しているオブジェクトを別のものに変更することで適用されます。任意のオブジェクトには、それを参照する https://sogo.dev/posts/2023/03/ansible-apt-repo-signed-by-gpg-key https://sogo.dev/posts/2023/03/ansible-apt-repo-signed-by-gpg-key Wed, 01 Mar 2023 00:00:00 GMT apt を使って docker や terraform をインストールする時など、提供元のサードパーティ apt リポジトリを追加する場合が結構ありますよね。その際に、今までは `apt-key` を使って OpenPGP 公開鍵をインポートしていたのですが、`apt-key` は Debian 11 と Ubuntu 22.04 を最後に使えなくなる ので、今後は `gnupg` を使った方法が主流になっていきます。 Ansible にも ansible.builtin.apt_key module https://sogo.dev/posts/2023/02/aws-api-gateway-terraform-throttling-settings https://sogo.dev/posts/2023/02/aws-api-gateway-terraform-throttling-settings Thu, 23 Feb 2023 00:00:00 GMT AWS API Gateway のスロットリングを Terraform を使って設定する方法を見つけるまでに少し手間取ったのでメモ。 ## AWS マネジメントコンソールでの場所 今回 Terraform で設定するのは、マネジメントコンソールの各ステージの設定画面内の「デフォルトのメソッドスロットリング」に該当する箇所です。 !management console ## そもそも API Gateway のスロットリングとは API Gateway では API が1秒あたりに処理できるリクエ https://sogo.dev/posts/2023/02/unit-testing-principles-practices-and-patterns-part3 https://sogo.dev/posts/2023/02/unit-testing-principles-practices-and-patterns-part3 Wed, 22 Feb 2023 00:00:00 GMT 『単体テストの考え方／使い方』（Vladimir Khorikov 著、須田智之訳）を読んだので、そのまとめを部ごとに書いていこうと思います。 1. 単体テストの目的・定義・学派・命名について：単体テストの考え方／使い方 第1部 1. リファクタリングしやすいテストを書こう：単体テストの考え方／使い方 第2部前半 1. ビジネス・ロジックと連携の指揮を分離すれば良いテストが書ける：単体テストの考え方／使い方 第2部後半 1. プロセス外依存は統合テストで確認しよう：単体テストの考え方／使い方 第3部（こ https://sogo.dev/posts/2023/02/unit-testing-principles-practices-and-patterns-part2-2 https://sogo.dev/posts/2023/02/unit-testing-principles-practices-and-patterns-part2-2 Sun, 19 Feb 2023 00:00:00 GMT 『単体テストの考え方／使い方』（Vladimir Khorikov 著、須田智之訳）を読んでいるので、そのまとめを部ごとに書いていこうと思います。 1. 単体テストの目的・定義・学派・命名について：単体テストの考え方／使い方 第1部 1. リファクタリングしやすいテストを書こう：単体テストの考え方／使い方 第2部前半 1. ビジネス・ロジックと連携の指揮を分離すれば良いテストが書ける：単体テストの考え方／使い方 第2部後半（この記事） 1. プロセス外依存は統合テストで確認しよう：単体テストの考え方／使 https://sogo.dev/posts/2023/02/fastapi-orm-sqlalchemy https://sogo.dev/posts/2023/02/fastapi-orm-sqlalchemy Wed, 08 Feb 2023 00:00:00 GMT サチコ（Google Search Console）を眺めていたら `FastAPI MySQL` がそれなりに需要ありそうと思ったので、FastAPI と SQLAlchemy を組み合わせて ORM を使う方法を紹介したいと思います。最近の SQLAlchemy（1.4以降）ではマッピングされたオブジェクトに型を適用することもできるので、型ヒントを活かして型安全なコードを書くことも難しくなくなっています。 ## 環境 * Python 3.10.6 * FastAPI 0.89.1 * SQLAl https://sogo.dev/posts/2023/02/typeddict-is-not-subtype-of-dict https://sogo.dev/posts/2023/02/typeddict-is-not-subtype-of-dict Mon, 06 Feb 2023 00:00:00 GMT Python の dict（辞書）を TypeScript の interface のように扱えて便利な TypedDict ですが、**dict のサブクラスではない**というのが少し落とし穴だなと思ったのでメモ。 ## まずは PEP を見よう 大抵のことは公式ドキュメントを見れば書いてあります。今回も例外なくそうでした。 > First, any TypedDict type is consistent with `Mapping[str, object]`. https://peps.py https://sogo.dev/posts/2023/02/unit-testing-principles-practices-and-patterns-part2-1 https://sogo.dev/posts/2023/02/unit-testing-principles-practices-and-patterns-part2-1 Sat, 04 Feb 2023 00:00:00 GMT 『単体テストの考え方／使い方』（Vladimir Khorikov 著、須田智之訳）を読んでいるので、そのまとめを部ごとに書いていこうと思います。 1. 単体テストの目的・定義・学派・命名について：単体テストの考え方／使い方 第1部 1. リファクタリングしやすいテストを書こう：単体テストの考え方／使い方 第2部前半（この記事） 1. ビジネス・ロジックと連携の指揮を分離すれば良いテストが書ける：単体テストの考え方／使い方 第2部後半 1. プロセス外依存は統合テストで確認しよう：単体テストの考え方／使 https://sogo.dev/posts/2023/01/unit-testing-principles-practices-and-patterns-part1 https://sogo.dev/posts/2023/01/unit-testing-principles-practices-and-patterns-part1 Tue, 17 Jan 2023 00:00:00 GMT 『単体テストの考え方／使い方』（Vladimir Khorikov 著、須田智之訳）を読んでいるので、そのまとめを部ごとに書いていこうと思います。 1. 単体テストの目的・定義・学派・命名について：単体テストの考え方／使い方 第1部（この記事） 1. リファクタリングしやすいテストを書こう：単体テストの考え方／使い方 第2部前半 1. ビジネス・ロジックと連携の指揮を分離すれば良いテストが書ける：単体テストの考え方／使い方 第2部後半 1. プロセス外依存は統合テストで確認しよう：単体テストの考え方／使 https://sogo.dev/posts/2023/01/sqlalchemy-dealing-with-disconnects https://sogo.dev/posts/2023/01/sqlalchemy-dealing-with-disconnects Thu, 12 Jan 2023 00:00:00 GMT FastAPI で SQLAlchemy を使っている時に、コンテナを立てた直後は問題ないけど一定時間経過後に DB 接続が切れてしまう問題に遭遇したのでその時に調べたことのメモ。 ## 環境 * mysql 5.7.15 * SQLAlchemy 1.4.45 * mysqlclient 2.1.1 ## 問題 ``` MySQLdb.OperationalError: (2006, 'MySQL server has gone away') ``` 最後に MySQL サーバーに接続してから https://sogo.dev/posts/2023/01/keyboard-remap https://sogo.dev/posts/2023/01/keyboard-remap Sun, 08 Jan 2023 00:00:00 GMT 不定期的に「あーでもない、こーでもない」と言ってキーボードのマッピングをいじりだしてしまうことってありますよね。私はあります。限りあるキーの中から自分にとっての最適解を見つける作業はなんだかんだ楽しいです。 今回は 2023 年版、私のキーボードのマッピングを書きとめておこうと思います。 過去の記事: Windows10 と PowerToys で US キーボードでも無変換・変換キーを使って IME を一発で切り替える ## 環境 * 使うパソコン * Windows デスクトップ * https://sogo.dev/posts/2022/12/kubernetes-behind-proxy https://sogo.dev/posts/2022/12/kubernetes-behind-proxy Tue, 27 Dec 2022 00:00:00 GMT 同期と一緒にトラシュしたので、プロキシ環境下で kubeadm + Containerd + Calico の Kubernetes クラスターを構築する方法について記録を残します。 ## 環境 * Ubuntu 22.04 * サーバーはニフクラを利用（e-medium4 2vCPU/4GB） * Kubernetes v1.26.0 * kubeadm v1.26.0 * Containerd v1.6.14 * Calico v3.24.5 コントロールプレーン、ノード1台ずつの構成としま https://sogo.dev/posts/2022/12/kubernetes-ubuntu22.04-cgroup-systemd https://sogo.dev/posts/2022/12/kubernetes-ubuntu22.04-cgroup-systemd Mon, 26 Dec 2022 00:00:00 GMT 公式ドキュメントのコマンドを手順通り流し込めば割と簡単に構築できる Kubernetes クラスターですが、Ubuntu 22.04 になってから少し手を入れる必要が出てきたので差分を紹介しておきます。 **2022-02-16 更新：Kubernetes ドキュメントの日本語版が更新されていたのでリライトしました。** ## 環境 * Ubuntu 22.04 * Kubernetes v1.26.0 * kubeadm v1.26.0 * Containerd v1.6.16 ## 何が変わっ https://sogo.dev/posts/2022/12/kubernetes-coredns-loop https://sogo.dev/posts/2022/12/kubernetes-coredns-loop Sat, 24 Dec 2022 00:00:00 GMT 1年前にも Kubernetes クラスターを自力で組んでトラブルシューティングしてみる【The Hard Way】の記事の中で軽く解説したネタです。 ## 環境 * Ubuntu 22.04 * Kubernetes v1.26.0 * kubeadm v1.26.0 ## 問題 Kubernetes クラスター内で名前解決に使われる CoreDNS の Pod が `CrashLoopBackOff` になってしまい再起動を繰り返す問題が発生することがあります。 ``` # kubectl https://sogo.dev/posts/2022/12/vscode-server-devcontainer https://sogo.dev/posts/2022/12/vscode-server-devcontainer Sat, 17 Dec 2022 00:00:00 GMT 今回は「ぼくのかんがえたさいきょうのかいはつかんきょう」を紹介したいと思います。 VS Code Server を使い、リモートサーバー上でコンテナとして動かしている開発環境に直接乗り込んでみよう、というアイデアです。 SSH もポート開放も不要なのでとてもお手軽です。 ## 2023/10/24 追記 GitLab のリモート開発環境も試してみました。 GitLabのRemote developmentを試してみる ## 2023/06/14 追記 以下で紹介する方法が最近は使えなくなって https://sogo.dev/posts/2022/12/openid-connect-fastapi https://sogo.dev/posts/2022/12/openid-connect-fastapi Fri, 02 Dec 2022 00:00:00 GMT この記事はニフクラ等を提供している、富士通クラウドテクノロジーズ Advent Calendar 2022の2日目の記事です。 昨日は @ntoofu さんの パケットキャプチャからKubernetes APIのTLS通信を解析する でした。 私は TLS な時点でパケットキャプチャを諦めてしまいそうですが Linux の便利な仕組みと気合があれば TLS 1.3 のパケットキャプチャも可能だとわかり、とても有益でした。私もギークなエンジニア目指して頑張ります。 今日は OpenID Connec https://sogo.dev/posts/2022/11/gitlab-rules-workflow https://sogo.dev/posts/2022/11/gitlab-rules-workflow Thu, 17 Nov 2022 00:00:00 GMT GitLab CI の rules を使って Dockerfile などの特定のファイルの変更時のみ Docker イメージを作成するパイプラインを回して、それ以外の時には既存の Docker イメージを使用して CI を実行する、という組み方をしたかったのですが、書き方に結構手間取ったのでメモ。 環境: GitLab.com 15.6.0-pre ## rules とは https://docs.gitlab.com/ee/ci/yaml/#rules それぞれのジョブについて、パイプラインに追 https://sogo.dev/posts/2022/11/blog-with-nextjs-and-tailwindcss https://sogo.dev/posts/2022/11/blog-with-nextjs-and-tailwindcss Sun, 13 Nov 2022 00:00:00 GMT このブログは Next.js の SSG（Static Site Generation; 静的サイト生成）機能を使いながら、デザインの大半は Tailwind CSS を使用して整えています。そして生成された HTML, CSS, JS は GitHub Pages でホストさせてもらっています。 そこそこの出来栄えになったので、今回はこのブログができるまでのお話をしたいなと思ったのですが、正直なところ、以下のリンク先のページを~~まるパク~~参考にさせてもらいながら作成したので、具体的な構築方法につい https://sogo.dev/posts/2022/10/hello-world https://sogo.dev/posts/2022/10/hello-world Tue, 11 Oct 2022 00:00:00 GMT はじめまして。 これは初めての投稿です。 今までブログが長く続いたことがないのですが、n度目の正直ということで今回こそは長く続くように頑張りたいと思います（とても固い決意）。 @SogoKato といいます。どんな人か気になってくれた方は 自己紹介ページ をご覧いただければと思います。 このブログの制作にあたっては、初めて React + Next.js + Tailwind CSS を触って作ってみましたが、結構いい開発者体験だったのでこれについてもまた記事に起こしていきたいな〜と思っています