£200でデータセンターGPUをゲーミングPCに載せる：V100 SXM2で32GB VRAMを実現

VRAMの壁に直面したローカルLLM愛好家

ローカルで大規模言語モデル（LLM）を動作させようとするとき、多くの開発者が直面するのがVRAM（ビデオメモリ）の制約だ。記事の著者であるOscar Molnar氏もその一人だった。彼はすでにNVIDIAのRTX 4080を所有しており、16GBのVRAMはゲーム用途には十分だった。しかし、より大規模なモデルをローカルで実行するには、この容量では明らかに不足していた。 次のステップとして考えられるのは、より多くのVRAMを搭載した高価なコンシューマーGPUを購入するか、まったく別の方法を見つけるかの二択だ。Molnar氏は後者を選んだ。彼が見つけた解決策とは、データセンター向けに設計されたGPUを、安価に入手して自作PCに組み込むという、いわば「型破り」なアプローチだった。

データセンターの遺産、Tesla V100 SXM2とは

Molnar氏が目を付けたのは、NVIDIAのTesla V100 SXM2 16GBだ。このGPUは、NVIDIAのDGXサーバーやハイパースケーラー向けラックで使用するために設計されたものだ。SXM2というフォームファクターは、一般的なPCIeスロットには接続できない。ディスプレイ出力端子もなく、標準的な電源コネクターも持っていない。NVLinkを介して通信する、サーバーラック内の専用ボードに乗る設計なのだ。 つまり、このGPUはそのままではマザーボードに挿すことはできない。しかし、重要な点がある。これはVoltaアーキテクチャのGPUであり、16GBのHBM2メモリ、5120のCUDAコアを備えている。そして、eBayで約150ポンド（約2万8000円）で入手できたという。計算能力は本物であり、VRAMも本物だ。そして、メモリ帯域幅に関しては、驚くべき結果をもたらす。

HBM2の優位性：帯域幅で現代GPUを凌駕

V100の真の強みは、そのメモリ帯域幅に隠されている。HBM2（High Bandwidth Memory 2）は、GDDR系メモリとは異なるクラスのメモリ技術だ。V100は4096ビットのメモリバスを持ち、900 GB/sという帯域幅を提供する。 これを現代のコンシューマーGPUと比較すると、その優位性が際立つ。例えば、2022年に発売されたRTX 4080のGDDR6Xは、736 GB/sの帯域幅だ。つまり、2017年に登場したV100は、5年後のコンシューマーGPUを22%も上回るメモリ帯域幅を持っていることになる。 Appleの製品との比較ではさらに鮮明だ。M3 Maxは400 GB/s、M4 Maxは546 GB/s、そして最新のM5 Maxでさえ614 GB/sだ。3000ポンド（約56万円）以上もするノートPC用チップよりも、2017年のデータセンターGPUが優れた帯域幅を誇る。 AMD陣営では、RTX 4080に最も近い競合製品であるRX 7900 XTXが960 GB/sの帯域幅を持つ。技術的にはV100をわずかに上回るが、価格は700ポンド（約13万円）以上だ。さらに、ROCmプラットフォームでのLLM推論サポートは、CUDAと比較するとまだ発展途上だ。V100は、その帯域幅の94%を、価格の4分の1以下で提供し、llama.cppですぐに動作する。 唯一、明確にV100を上回るコンシューマーGPUは、1792 GB/sの帯域幅を持つRTX 5090だが、その価格は2000ポンド（約37万円）を超える。LLM推論においては、メモリ帯域幅がボトルネックとなり、生成速度（トークン/秒）を決定する。この点において、V100のコストパフォーマンスは極めて高い。

不可能な接続を可能にするアダプター

問題は接続方法だ。SXM2フォームファクターのGPUを、標準的なPCのマザーボードに接続する方法は、NVIDIAが公式に提供していない。しかし、サードパーティ製の「SXM2-to-PCIeアダプター」が存在する。NVIDIA製ではなく、誰も公式にはサポートしていない、一方にSXM2ソケット、もう一方にPCIeエッジコネクターを持つ、むき出しの基板（PCB）だ。 Molnar氏はこのアダプターを約50ポンド（約9400円）で購入した。彼は冗談交じりに「代金の半分は銅のコストかもしれない」と述べている。こうして、合計約200ポンド（約3万8000円）で、RTX 4080と並んでマザーボードに挿せる16GB VRAMのGPUを手に入れた。2枚のGPUで合計32GBのVRAMとなる。 一方、32GBのVRAMを単体で持つRTX 5090は2000ポンド以上だ。Molnar氏は「これが同じ体験だとは言わない。しかし、VRAMの量は同じだ」と強調する。重要なのは、LLM推論においてVRAM容量がモデルのサイズを直接制限するという事実だ。

「地獄のファン」と冷却の課題

記事の途中で言及されている「地獄のファン（The fan from hell）」というフレーズは、データセンター向けGPUをデスクトップPC環境で運用する際の、現実的な課題を暗示している。データセンターGPUは、サーバーラック内の強制空冷を前提として設計されている。デスクトップPCのケース内で静かに、かつ効率的に冷却するには、追加の工夫が必要になる。 Molnar氏の記事では、このファンの騒音と冷却対策についても詳細に記されているとみられる。サーバー用GPUをデスクトップ環境に移植する際には、電源供給、冷却、物理的な設置方法など、複数のエンジニアリング的課題をクリアする必要がある。

コストと実用性のバランス

このプロジェクトの魅力は、圧倒的なコストパフォーマンスにある。合計200ポンドという投資で、32GBのVRAMを手に入れ、27Bパラメータのモデルを32トークン/秒で実行できる環境を構築した。これは、単に安いというだけでなく、ローカルLLM開発者にとって実用的な性能だ。 ただし、このアプローチが万人向けではないことも事実だ。SXM2-to-PCIeアダプターは公式な製品ではなく、互換性や安定性にリスクを伴う。データセンターGPUは、ディスプレイ出力を持たないため、ゲーミングPCとしての汎用性は損なわれる。あくまで、LLM推論や機械学習ワークロードに特化した「計算機」としての活用が主眼となる。

結論：廃棄される高性能ハードウェアの第二の人生

この事例は、テクノロジー業界におけるハードウェアのライフサイクルについて考えさせられる。データセンターでは、世代交代により退役した高性能GPUが、中古市場に流通している。それらの多くは、まだ十分な計算能力とメモリ帯域幅を持っている。 Molnar氏のプロジェクトは、そうした「遺産」を、個人の開発者や研究者が安価に活用するための一つの道を示している。公式サポートのない、やや荒削りな方法ではあるが、技術的な好奇心と実験精神があれば、驚くほどコスト効率の高い高性能計算環境を構築できる可能性がある。ローカルLLMの普及に伴い、このようなクリエイティブなハードウェア活用事例は、今後さらに増えていくかもしれない。