AI推論がチップスタートアップに再起のチャンスをもたらす

AI推論の時代が開く、チップスタートアップの新機運

AI技術の活用は、モデルを「学習させる」段階から「実際に運用する」段階へと急速に移行しつつある。そしてこの転換が、Nvidiaの圧倒的な市場支配に一石を投じる可能性を秘めている。

The Registerが2026年5月3日に報じたところによれば、推論処理の多様化が、AIチップ分野のスタートアップにとって「今か、あるいは二度とない」チャンスとなっている。

推論は訓練より多様なワークロード

学習と比較して、推論ははるかに多様な処理パターンを持つ。大規模なバッチ推論には、AIアシスタントやコードエージェントとは異なる計算能力・メモリ・帯域幅の組み合わせが必要だ。この多様性こそが、汎用GPU以外の専用ハードウェアにとっての追い風となっている。

推論処理は大きく分けて「プリフィル（前処理）」と「デコード（後処理）」の2段階で構成される。プリフィルは大量の計算を必要とし、デコードは帯域幅に依存する処理だ。この特性の違いが、異なるハードウェアを組み合わせる「分散型アーキテクチャ」の台頭を促している。

Nvidiaの200億ドル買収が示す戦略転換

その象徴的な事例が、NvidiaによるGroqの買収だ。2025年12月に約200億ドル（≒2兆円規模）の規模で行われたこの買収は、推論市場への本格参入を意味する。

GroqのLPU（Language Processing Unit）は、高速だが容量の限られたSRAMを多用した独自アーキテクチャを採用。十分な数のチップを揃えれば、GPUを上回るトークン生成速度を実現できた。しかし、計算能力が限定的で、チップ技術が成熟していなかったため、スケーリングの効率に課題があった。

Nvidiaはこの問題を巧妙に解決した。計算集約型のプリフィル処理を自社GPUに、帯域幅に依存するデコード処理をGroqのLPUに振り分けることで、両者の長所を組み合わせたのだ。

AWS、Intelも分散型推論に参入

Nvidiaだけではない。クラウドコンピューティングの巨頭AWSも、同様の分散型コンピューティングプラットフォームを発表した。自社開発のTrainiumアクセラレータをプリフィルに、Cerebras Systemsの巨大ウェーファースケールアクセラレータをデコードに割り当てる構成だ。

Intelもこの潮流に加わった。GPUをプリフィルに、AIチップスタートアップのSambaNovaが開発したRDU（Reconfigurable Dataflow Unit）をデコードに使うリファレンスデザインを公開している。

デコード市場で勝ち抜くスタートアップたち

これまでのAIチップスタートアップの成果は、主にデコード側に集中してきた。SRAMは容量が大きくないが、その速度は驚異的だ。十分な数のチップ、あるいはCerebrasのような巨大チップがあれば、デコード処理の加速に適している。

しかし、スタートアップの可能性はデコードに限られない。

光で計算する次世代アクセラレータの登場

今週、Lumaiは光学推論アクセラレータの詳細を発表した。電子ではなく光を用いて、機械学習ワークロードの中核をなす行列演算を実行する画期的なアプローチだ。完全なデジタルアーキテクチャと比較して、消費電力を大幅に削減できるという。

Lumaiは、次世代の「Iris Tetra」システムが2029年までに10kWの電力予算でexaOPS（エクサオペレーションス）クラスのAI性能を達成する見込みだとしている。技術的には電気光学ハイブリッドアーキテクチャを採用しているが、推論時の計算の大部分はチップ内の光学テンサーコアが担う。

同社は当初、バッチ処理などの計算集約型推論ワークロード向けに、GPUの代替としてこのチップを位置づける。長期的には、光学アクセラレータをプリフィルプロセッサとしても活用する計画だ。現在のアーキテクチャはまだ初期段階で、Llama 3.1の8Bや70Bといったパラメータ数十億レベルのモデルを実行できる状態にある。

分散型AIの時代がもたらす新展開

Nvidiaが両手で推論市場を狙い、クラウドプロバイダーが独自チップを投入し、光学やSRAMを活用した新興勢力が台頭する——AIチップ市場は、単なるGPUの時代から、ワークロードに応じて最適なハードウェアを組み合わせる分散型の時代へと移行しつつある。

学習から推論へのシフトは、Nvidiaにとっても脅威となりうる。推論の多様性は、ある種のワークロードにおいて、汎用GPUよりも専用チップが適している可能性を示唆しているからだ。AIチップスタートアップにとって、これは二度と来ないかもしれないチャンスだ。

---

Q: AI推論と学習の違いは何ですか？ A: 学習は大量のデータを使ってAIモデルのパラメータを調整するプロセスで、膨大な計算量を必要とします。一方、推論は学習済みモデルを使って実際にタスクを実行するプロセスです。推論は学習と比較してワークロードが多様で、バッチ処理からリアルタイムの対話まで様々なパターンがあります。

Q: なぜ推論にGPU以外のチップが適しているのですか？ A: 推論処理には「プリフィル」と「デコード」という異なる特性の処理が含まれます。プリフィルは計算集約型、デコードは帯域幅集約型です。SRAMを多用した高速チップや光学アクセラレータなど、GPUとは異なる特性を持つチップの方が、特定の処理に適している場合があるのです。

Q: Lumaiの光学推論アクセラレータの特徴は何ですか？ A: 電子ではなく光を用いて行列演算を行うことで、従来のデジタルアーキテクチャと比較して消費電力を大幅に削減できます。2029年までに10kWの電力でexaOPSクラスの性能を目指しており、将来的にはプリフィル処理にも活用する計画です。