All posts

自宅AIサーバーで何動かしてる?ローカルAIとセルフホスト環境の全体構成

GMKtec EVO-X2とDGX Sparkの2台体制を中心に、開発VMのAIエージェント、常駐コンパニオンAI、音声後処理・VBAN音声集約、RabbitWallによる通信制御まで自宅セルフホスト環境の全体構成をまとめました。

自宅AIサーバーとセルフホスト環境の全体構成イメージ

以前、自宅でローカルAIを動かすために「GMKtec EVO-X2(Ryzen AI Max+ 395 / 64GBメモリ)」というミニPCを購入した記事を書きました。

自宅でローカルAIサーバーを動かすために「EVO-X2」を購入した話

あれから環境の構築と改修が進み、今ではEVO-X2に加えて推論専用のサーバーも仲間に加わりました。最初はローカルLLMを動かしてみる目的でしたが、現在は開発用のAIエージェントや音声入力の後処理、常駐のコンパニオンAI、さらには外部通信を制御するゲートウェイまで、自分が使いたい仕組みを自宅内でセルフホストする構成になっています。

今回は2026年11月時点の最新構成として、自宅のマシン同士がどう連携して動いているのか、全体の仕組みをまとめておきます。



自宅システムの全体像と役割分担

現在の自宅ネットワーク内では、役割を分けた複数のマシンと端末が連携して動いています。

  • EVO-X2(Ryzen AI Max+ 395 / Ubuntu 26.04)
    メモリ64GB、Radeon 8060Sを搭載した常時稼働のハブとなるサーバーです。音声認識や文章整形、PC音声の集約、常駐のコンパニオンAI、エージェント用の開発VM、ローカル検索エンジンなど、日常的に動くサービスの多くをここでホストしています。なお、別途進めているFX自動売買システムの検証・デモ運用もこのサーバー上で優先して動かしています。
  • DGX Spark(NVIDIA GB10 / 約121GiB統合メモリ)
    汎用LLMの推論を専門に引き受けるサーバーです。OSはDGX OS 7.6.0(Ubuntu 24.04.5ベース)で、重いモデルの推論処理はこちらへ逃がしています。
  • QNAP NAS(TS-216G / RAID 1)
    各種設定や作業データ、バックアップの保管先として使っています。
  • クライアントPCとスマートフォン
    作業用のWindowsノートPCとゲーム・開発用のWindowsデスクトップPCの2台に加え、外出先で使う2台のスマートフォンと自宅に置く音声会話用のスマートフォンがあります。

外出先から自宅のサービスへ接続するときは WireGuard(VPN) を使っています。自宅のWi-FiにつながっているときはVPNが自動でOFFになり、外に出たときだけ自動でONになるスプリットトンネル構成にしているため、移動しても接続先を切り替えずにそのまま使えるようになっています。


汎用LLM推論専用のDGX Sparkと2モデル同時運用

汎用的な文章生成やエージェントの頭脳として使っているのが、DGX Spark の推論環境です。コンテキスト長はいずれも256Kに対応した以下の4つのモデルを用意しています。

  • fn:Qwen3.8-Flash-Next(NVFP4 GPTQ)
  • ds:DeepSeek-V4.1-Flash-1017(IST-DAS 2.25bpw / IQ2_XS)
  • ornith:Ornith-1.5-35B-A3B
  • gemma:Gemma 4 26B-A4B IT

以前は1つのモデルだけをロードして切り替える形でしたが、推論ルーターの llama-swap に独自のパッチを組み込み、モデルのKVキャッシュを q8_0 へ変更するなどしてメモリ配分を見直しました。あわせてEVO-X2側の中継ゲートウェイもペア並列に対応させています。

その結果、サイズが大きい ds だけは単独での排他稼働としつつ、それ以外の組み合わせ(fn + ornith / fn + gemma / ornith + gemma)は異なる2つのモデルを同時に載せて並列で応答させる運用ができるようになりました。どのモデルも使われない状態が1時間続くと自動でアンロードされるように設定してあり、待機中のメモリ占有を抑えています。


隔離された開発VMとAIエージェント環境

コーディングや調査を任せるAIエージェント環境は、ホスト側のシステムを不用意に汚さないよう、EVO-X2内に立てた隔離用の開発VM(メモリ10GiB / 6vCPU / 100GiB)の中で動かしています。

以前はHermes Agentを使っていましたが現在は休止状態にしており、今は DeepSeek Harness(DSH) と OpenMausBot をメインで稼働させています。

  • DSHとOpenMausBotの連携
    通常のOpenMausBotはDSHと同じ作業ディレクトリを共有しており、ファイルの作成・編集やブラウザ操作を組み合わせて作業を進められる構成にしています。
  • 権限を分離したFactCheck専用ボット
    情報収集や事実確認を行うための専用ボット FactCheck も別途追加しました。こちらは作業ディレクトリへのアクセスや内蔵ブラウザの操作権限を外し、読み取り専用のツール経由で「X(旧Twitter)の投稿取得(日次の上限付き)」「ローカル検索」「Webページの本文取得」だけに役割を絞っています。

また、エージェントがWeb検索を使うときは外部の商用検索APIを直接叩くのではなく、自宅サーバーにセルフホストしているメタ検索エンジン SearXNG を経由させる仕組みです。推論が必要になったときは開発VMから専用の中継ゲートウェイを通ってDGX Sparkへリクエストが飛ぶため、開発環境から外部や他の機器へ直接無制限にアクセスできないようになっています。


旧LifeLogから刷新した常駐コンパニオンAI

以前は日々のメモや夜の振り返り記録を残す「LifeLog」という仕組みを動かしていましたが、最近はこれを大幅に刷新し、常駐のコンパニオンAIとして再構成しました。以前の音声合成やカレンダー連携などの周辺機能は整理し、チャットと音声通話を中心とした構成に切り替えています。

現在のコンパニオンAIは以下のような構成で動いています。

  • EVO-X2上でのGPU常駐と固定音声
    Gemma 4 26B-A4B IT
    をEVO-X2のGPUへ全層載せて常駐させ、普段のチャット応答や自律的な連続思考、公開Web調査、記憶の整理をローカルで完結させています。音声合成には Irodori の固定話者を使うようにしました。
  • 用途に合わせた2つの画面
    外出先のスマホやPCからはボット型のチャット画面を使ってやり取りし、自宅に置いている音声会話用のスマートフォンには常駐のライブアバター画面を表示しています。通常時はマイクをOFFにした待機状態で待ち受け、画面のアバターを1回タップすると次のタップまで連続で通話できる仕組みです。
  • 私的記憶と公開調査の2レーン分離
    会話の中で受け取った刺激を自律思考のループへ渡しつつも、私的な記録や内省が公開Web検索や外部推論へ混入しないよう、保存先と処理のレーンを明確に分けて管理しています。
  • 深夜帯だけDGX Sparkを借りる追加推論
    日本時間の0:00〜6:00に限り、DGX Sparkが空いていればDeepSeekを使った追加の考察ジョブを流す仕組みも入れています。時間外や他のリクエストが入っているときはジョブを保持して待機し、別の処理が来たら接続を閉じて譲る制御にしています。

音声入力の後処理とPC音声の集約

日々のテキスト入力やデスク周りの作業を補助する仕組みとして、音声関連のサービスもEVO-X2で常時動かしています。

  • 文字起こしと文章整形・翻訳(音声後処理)
    音声認識エンジン Haas ASR で吹き込んだ言葉をテキスト化したあと、そのままでは入りがちな不要な言葉や句読点の乱れを整えるため、ローカルのGemmaへテキストを流して自然な日本語へ整形するゲートウェイを設けています。必要に応じてPLaMoを使った翻訳処理へ渡すことも可能です。
  • 2台のWindows PCからの音声集約(VBAN)
    手元には作業用のノートPCとゲーム・開発用のデスクトップPCの2台がありますが、それぞれのPCにスピーカーやヘッドホンを繋ぎ替えずに済むよう、ネットワーク経由で音声を転送する VBAN を導入しています。2台のPCの音声出力をLAN経由でEVO-X2へ送り、サーバーにUSB接続している1台のオーディオ機器(Sound Blaster X5)からまとめて鳴らす構成です。

セキュリティと運用の工夫

セルフホストで動かすサービスが増えるほど外向き通信やメンテナンスの管理が課題になるため、運用面でもいくつか専用の仕組みを組んでいます。

  • RabbitWallによる通信の隔離と制御
    開発VMやSearXNG、コンパニオンAIが外部のWebへアクセスするときは、通信を一元制御する専用のゲートウェイVM RabbitWall を必ず経由させています。許可した用途以外の外向き通信を遮断し、検索や取得のルートを限定する役割を持たせています。
  • 毎日のセキュリティ監視と承認制のアップデート
    EVO-X2・開発VM・RabbitWall・DGX Sparkの4つのホストについて、毎日20時にパッケージやランタイムの差分を自動で監視するスクリプトを定期実行しています。ただし、変更作業まで自動で行うと動かしているサービスに影響が出るおそれがあるため、定期監視では読み取り確認だけを行い、更新候補が出たときだけ計画を提示して自分が確認・承認したうえで一時的な管理権限を使って更新を適用する運用にしています。

おわりに

2026年11月時点の自宅AIサーバーとセルフホスト環境の全体構成をまとめました。

1台のEVO-X2から始まった環境ですが、推論用のDGX Sparkが加わり、エージェント用の隔離VMや通信制御のRabbitWall、常駐コンパニオンAI、音声の集約基盤などが役割分担しながら連携する形にまとまってきました。

それぞれの個別の仕組み(2モデル同時運用の工夫やVBANを使ったPC音声の集約手順、コンパニオンAIの挙動など)についても、また別の記事で詳しく整理していければと思います。

Discussion

No comments yet