クラウド中心になり、オンプレの開発基盤・情報基盤は不要になったと思っていました。大企業ではハイブリッド戦略も必要ですが、自分の仕事の規模では不要だろうと思っていたのですが、自分もハイブリッドな基盤が必要になってしまったという話です。
数年前のクラウドへの移行
数年前、Microsoft 365 Copilotが登場し、SharePointやOneDrive for Businessに資料を置けばRAGとして使ってくれるようになり、クラウドを利用すると、手間を掛けずにAIを組み合わせた情報基盤が作れるようになりました。そこで私もMicrosoft 365を中心に自分の情報を集約していきました。
クライアントも自社でクラウドの基盤を整備しているので、私はそちらにアクセスすれば良いので、自分でファイルを管理する必要はなくなっていました。自分が管理する自社の資料や自社業務に関する資料はクラウドに集約しました。
また、開発基盤であるGitなどについてもGitLabをオンプレで運用する必要がなくなりました。クライアント業務については、クライアント側がGitを運用するようになり、自社業務についてはGitHubで十分になったのです。そこで開発基盤もオンプレからクラウドに移行しました。
2026年現在起きたこと
時が経ち2026年現在、生成AIの性能向上が著しいという状況になりました。自社業務ではコーディング系AIも一部利用するようになりました。自分の使い方ではコードを生成するのではなく、既存のコードを解析したり、RAGとして使用する使い方が増えてきました。WordやExcelなどで書かれた資料や記録、クラウドのWikiに入っている情報やIssue管理などに入っている情報もRAGとして使用したい状況が生まれてきました。理由は解析精度を向上するためです。
自分のニーズに合うように色々カスタマイズしたくなってきました。そこでLocal LLMに目を付けました。
Local LLMとRAG
まずは、単純にOpen WebUIとOllamaで初期のChatGPTと戯れていたときのように、自分が分析したいコードを与えて分析させてみました。すると、思っていたよりもちゃんと分析ができました。そうなっている背景とかも資料で個別に与えるとより的確になりました。クラウドのサービスよりも時間はかかるのですが、ローカルなので入れるコードの性質などを考慮する必要がなく、より本音で向き合うことができます。明らかに業務の生産性が向上すると直感しました。
そうなると、RAGを整備する必要があります。この場合、外部のクラウドサービスには入れていない情報や、バラバラのサービスに分散してしまっている情報なども整理して、RAGとして利用できるようにしたいという野望も出てきました。
気がつけば、NAS、Wiki、Issue管理、ドキュメント管理、コード管理、LLMなどをオンプレのサーバーで動かすという方針を立ててしまいました。具体的なソフトやハードはクラウドのCopilotと相談しながら。セットアップ方法や具体的な設定ファイルなどはコーディングAIやCopilotに生成してもらうなどします。やはりHow Toの知識の重要性が低下するわけだと思いながら、手が空いたときに進めています。
昔と違うのは、クライアントPCがアクセスするのはNASだけど、一部のデータは自動的にクラウドのSharePointなどと同期されるようになっていて、CopilotのRAGとしても利用できるようにしていること。逆にクラウド側で編集したファイルもNASと同期させるように構成します。
使用するハードウェア
まだ、実証検証の段階なのと、予算の都合で、手元にあるハードウェアだけで構築中です。
- AIサーバー : 自作PC (Nvidia GeForce RTX 5060ti 16GB）
- その他 : Mac Mini 2018
ソフトウェアは以下のような予定です。
- 自作PC : Ollama（LLMの実行）, Open WebUI（フロントエンドとRAG）, Qdrant（Vector DB）, LlamaIndex
- Mac Mini 2018 : Docker, GitLab, SMBファイル共有, Cloudストレージの同期ソフト
この構成だと本格的に使うには、ちょっと弱いし、自作PCは開発機と兼用しているので、どこかでハードは刷新予定です。
NASはMac Miniに外付けのRAIDを接続するか、Synologyなどの専用機を入れるか検討中です。手間を掛けない住むのはSynologyかなと思っています。また、SynologyにはCloudと同期する仕組みや仮想コンテナを動かす仕組みなどもあるので、興味深く思っています。一方でMac MiniにRAIDを接続してNAS化するのも柔軟性があるし、USB接続のRAIDは現在所有しているので、費用を抑えられるというメリットもあるので、しばらく悩みそうです。
AIサーバーの方は、DGX SparkかMac Studioを検討中です。どちらも高額なので、よくよく考える必要があります。 私はApple系の開発案件が多いので、Mac Studioにした方が後々良いかなとも思っていますが、DGX Sparkを複数台組み合わせたときしか使えないような巨大モデルをローカルで動かせるのは魅力的です。
まずは、費用は掛けずにできるところから始めて、試行錯誤します。
