自宅サーバーでQwen3.6-27Bを動かす、ローカルLLM構築の全工程

大規模言語モデル（LLM）を自宅のサーバーで運用する試みが、エンジニアの間で静かな広がりを見せている。クラウドAPI依存への懸念や、データプライバシーを重視する流れが背景にある。ZennのRyō Igarashiは、自身の経験に基づく詳細な構築記を公開した。Alibaba（アリババ）が開発したオープンウェイトモデル「Qwen3.6-27B」を、一般家庭でも入手可能なGPUを用いて動作させるまでのプロセスが、技術的裏付けとともに記されている。

ローカルLLMを選ぶ理由

Igarashiは記事の冒頭で、AI技術そのものへの興味と、大手AI企業への違和感のあいだで葛藤した心境を明かしている。AnthropicのCEOによる恐怖をあおるような発言、アメリカによるイラン攻撃へのxAI Grokの関与、データセンター建設による環境負荷——こうした倫理的問題への懸念から、主要なAI企業が推進する潮流から距離を置きつつ、技術をキャッチアップする手段としてローカルLLMの構築に至ったという。

この立場は、geohotがLLMの誇大広告を批判した論調とも一部共鳴する。クラウド経由のAIサービスではなく、自前のハードウェアでモデルを動かすことには、コストや手間がかかるという現実的な障壁がある。しかしIgarashiは、自身の試行錯誤を記録として残すことで、いつか誰もがローカルLLMを試せるようになったときの助けになることを願うと述べている。

モデル選定の基準

2026年6月時点で、パラメータ数100B未満のオープンウェイトモデルにおいて最高性能を発揮するのは、GoogleのGemma 4とAlibabaのQwen3.6の2系統である。いずれも2026年4月に公開され、SWE-benchを含む複数のベンチマークでClaude Opus 4.5に匹敵するスコアを記録している。Igarashiは、ローカルLLMに興味を持ったきっかけでもあるQwenを選択した。

Qwen3.6には2種類のモデルが存在する。Qwen3.6-27BはDenseモデルで、270億のパラメータすべてを使用して推論を行う。Qwen3.6-35B-A3BはMoE（Mixture-of-Experts）モデルで、350億のパラメータのうち、入力に関連する約30億のパラメータだけを使って推論が可能だ。MoEは推論速度が速く、限られた計算資源でも動作しやすいという利点がある。しかしIgarashiは、Qwen3.6に限って言えばDenseモデルのほうが性能が優れていると判断し、27Bモデルを採用した。

必要VRAMの計算

Qwen3.6-27Bは270億のパラメータを持ち、それぞれが16ビット浮動小数点数で格納されている。単純計算でモデル本体だけで54GBのメモリが必要となり、一般家庭の環境では現実的ではない。そこで用いられるのが量子化という技術だ。Igarashiは、8ビット浮動小数点数に変換した「Qwen3.6-27B-FP8」を採用した。

vLLMのドキュメントに基づく必要なVRAMの近似式は以下の通り。

KVキャッシュ ≒ batch_size × seq_len × hidden_size × num_layers × 2 × dtype_size モデルの重み ≒ num_parameters × dtype_size アクティベーションメモリ ≒ モデルの重みの10%〜30% 必要なVRAM ≧ KVキャッシュ + モデルの重み + アクティベーションメモリ

Qwen3.6-27B-FP8の各パラメータを代入すると、必要なVRAMは約43.69GBと算出される。この結果から、Igarashiは最低限44GB以上のVRAMを搭載するGPU構成を目標とした。

ハードウェア調達の実際

必要なVRAMを満たすために、Igarashiはメルカリで中古のGPUを2枚購入した。具体的な型番は記事中で明示されていないが、合計で48GBのVRAMを確保できる構成を組んだ。2枚のGPUをNVLinkで接続し、メモリプールを統合することで、単体では不可能な大規模モデルの推論を可能にしている。総費用は約25万円だったとされる。

この調達方法には重要な示唆がある。最新のハイエンドGPUを新品で購入する場合、RTX 5090クラスで60万円を超える予算が必要になる。中古市場を活用することで、コストを大幅に抑えながらも実用的な性能を得られるという点は、ローカルLLMの導入障壁を下げる実践的な知見と言える。

推論サーバーのセットアップ

ハードウェアが整った後、Igarashiは推論サーバーの構築に着手した。採用したフレームワークはvLLMだ。vLLMは大規模言語モデルの推論に特化したオープンソースのライブラリで、PagedAttentionによる効率的なメモリ管理や、連続的なバッチ処理によるスループット向上などの特徴を持つ。

セットアップは比較的シンプルで、Dockerコンテナ上でvLLMを起動し、Hugging FaceからダウンロードしたQwen3.6-27B-FP8の重みを読み込む構成を取っている。ホスト側のOSはUbuntu 24.04 LTS、CUDAのバージョンは12.8を使用した。推論サーバーが起動すると、OpenAI互換のAPIエンドポイントが公開されるため、既存のアプリケーションから容易に呼び出せるようになる。

動作確認と実用性

実際にQwen3.6-27B-FP8を動作させた結果、プロンプトの内容によってはクラウドのClaude Opus 4.5に匹敵する品質の応答が得られたという。ただし、日本語の自然な表現や複雑な推論を要するタスクでは、依然としてクラウドAPIのモデルに劣る場面もあったと報告されている。

推論速度については、コンテキスト長が短い簡単な質問に対しては実用的な応答時間を達成している。しかし、262,144トークンもの長いコンテキストを処理する場合、KVキャッシュがVRAMを圧迫し、応答が顕著に遅くなるという課題が確認された。

運用コストと持続可能性

Igarashiの試算によれば、vLLMサーバーを24時間稼働させた場合の電気代は月額約5,000円となる。これはGPUのアイドル時消費電力150W、稼働時最大350Wを前提とした数値だ。クラウドAPIの従量課金と比較すると、利用頻度が高いほど経済的なメリットが大きくなる。

しかし、ハードウェアの初期投資約25万円と、構築やメンテナンスにかかるエンジニアリングコストを考慮すると、短期間での投資回収は難しい。Igarashiは、このプロジェクトを「技術習得と倫理的スタンスの表明」として位置づけており、純粋なコスト削減手段としてではないと明言している。

編集部の見解

短期的には、本記事のような詳細な構築記が増えることで、ローカルLLM導入の技術的ハードルが下がると見られる。特にvLLMのセットアップ手順やVRAM計算の具体例は、同様のプロジェクトに取り組む開発者にとって貴重なリファレンスとなるだろう。半導体不足の緩和と中古GPU市場の拡大も、この流れを後押しする可能性がある。 長期的視点では、ローカルLLMの性能がクラウドAPIにどこまで迫れるかが普及の鍵を握る。オープンウェイトモデルのベンチマークスコアは急速に向上しており、Gemma 4やQwen3.6の登場で100B未満モデルがOpus 4.5級の性能に達した事実は象徴的だ。データプライバシーやレイテンシを重視する企業・組織が自社運用にシフトする動きは、今後1〜3年で加速すると評価できる。 編集部としては、本記事で実践された手法が、エンジニア個人の技術的関心に留まるのか、それとも企業のAIインフラ戦略にも波及するのかに注目したい。GPUの入手性や電力コストといった現実的な制約を踏まえたとき、ローカルLLMの普及は一部の熱心な技術者に限定されるのか、あるいはより広範なトレンドへと発展するのか。

参考

• 「ローカル LLM を構築した」, by Ryō Igarashi — Zenn, 2026-07-14T08:13:16.000Z (ARR)
• 元記事URL: https://zenn.dev/neet/articles/11bafab8645995