100ドル未満でAIモデルにバックドア、研究者が実証

AIのサプライチェーンは、従来のソフトウェアよりもはるかに容易に毒盛り（ポイズニング）されうる。マンチェスター・メトロポリタン大学のサイバーセキュリティ講師で、Semgrepのスタッフセキュリティアドボケイトを務めるKatie Paxton-Fear氏は、この現実を痛烈に示す実験を公開した。同氏は約1時間、100ドル未満のコストで、オープンウェイトAIモデルにバックドアを仕掛けることに成功したのである。

The RegisterのThomas Claburnが報じたこの研究は、AIモデルに対する信頼の置き方そのものに疑問を投げかけている。Paxton-Fear氏はまず、ファインチューニングを用いてJavaScriptの変数名をcamelCaseからsnake_caseに変換させる実験を行った。その結果は「本当に簡単だった」と同氏はソーシャルメディアへの投稿で述べている。その後、本格的なバックドアの実装に移行した。

わずか10の訓練例

同氏によれば、モデルのコード出力をリモートコード実行に対して確実に脆弱にするには、わずか10の訓練例で十分だったという。これは未見のプロンプトやドメインに対しても有効であり、興味深いことにモデルが大規模であるほど毒盛りが容易になる傾向が見られた。

Paxton-Fear氏はSemgrepの同僚であるIsaac Evans氏とCris Thomas氏とともに、この問題に関する記事を先週公開し、オープンウェイトモデルが抱える根本的なリスクを指摘した。「モデルの重みが公開されていても、その動作を予測する手段はほとんどない。これは従来のバイナリプログラムがリバースエンジニアリングによって完全な動作記述を得られたのとは大きな違いだ」と彼らは記している。

AIサプライチェーン攻撃の現実化

学術研究者らは過去数年にわたりモデル破壊（モデルサブバージョン）の危険性を警告してきたが、AIサプライチェーン攻撃が実際に出現し始めたのは最近のことだ。セキュリティコミュニティが本腰を入れてこの問題に取り組み始めたのも、つい先のことである。特に、オープンウェイトモデルをローカルハードウェアで実行する行為が実験段階を超えて一般化した現在、この問題の緊急性は増している。

先月には、Origin社のAIセキュリティ研究リーダーであるDavid Kaplan氏も同様の実験を実施している。同氏はデータを盗み出すように設計された妥協モデルを作成した。製薬会社が創薬の文脈でこのモデルを使用した場合、send_emailツールの呼び出しを通じてユーザーに気付かれることなくデータを外部に送信する仕組みだ。

Kaplan氏は、開発者Simon Willison氏が広めたAI脅威モデル「致命的な三要素（lethal trifecta）」——すなわち、プライベートデータ、信頼できない入力、そして外部への出口が揃うこと——について次のように論じている。「このフレーミングはリスクを過小評価している。このケースでは3つの要素は必要ない。必要なのは1つのアウトバウンドツールと、静かにそれを使うことを決意した重みだけだ。『信頼できない入力』はWebページからやってくるわけではない。最初から重みの中に潜んでいたのだ。」

信頼の前提が崩れるとき

オープンウェイトモデルは「透明性が高い」とされてきたが、今回の実験はその前提を覆す。重みが公開されていても、その内部で何が起きているかを検証する手段が存在しないからだ。従来のソフトウェアであれば、バイナリを逆アセンブルし、制御フローを解析することで不正な挙動を発見できた。しかし、ニューラルネットワークの重みは数値の行列に過ぎず、そこから意図された振る舞いを読み解くことは事実上不可能である。

この問題は、AIモデルがサプライチェーンの一部として流通する現代において極めて深刻だ。モデルを提供する側は「安全です」と主張するが、ユーザーはその主張を検証できない。Paxton-Fear氏の実験は、わずか100ドル未満のコストで誰でも毒盛りモデルを作成できることを示しており、悪意ある攻撃者が同様の手法を採用する障壁は極めて低い。

例えば、ある企業がHugging Faceなどからダウンロードしたオープンウェイトモデルを内部のコード生成やデータ分析に利用しているとする。そのモデルが巧妙にバックドアを埋め込まれていた場合、生成されたコードがリモートコード実行を許す脆弱性を含んでいたり、機密データを外部に送信したりする可能性がある。従来のサプライチェーン攻撃と異なり、モデル自体の振る舞いを事前に検証する手段が限られているため、発見は極めて困難だ。

業界の対応と課題

現在、AIセキュリティの分野ではモデルの検証手法として、レッドチーミング（敵対的テスト）、モデル解釈可能性技術、重みの暗号的ハッシュによる改ざん検知などが提案されている。しかし、今回の研究は、これらの対策がまだ十分でないことを示唆する。特にファインチューニングによる毒盛りは、元の重みとの差分のみを検出することが難しく、訓練データの汚染を防ぐ仕組みが整っていない現状では防御が困難だ。

また、モデル提供者が公式にリリースする重みであっても、サプライチェーンのどこかで改ざんされるリスクは残る。Hugging Faceのようなリポジトリはスキャンを行っているが、悪意あるモデルの見逃し事例が報告されている。今回の実験は、モデルのサイズが大きいほど毒盛りが容易になるという点も衝撃的だ。大規模モデルはパラメータ数が多く、微細な変更を埋め込む余地が広がるため、検出が一層難しくなる。

OpenAIは先日、GPT-5.6をSol・Terra・Lunaの3モデルで発表したが、こうしたクローズドモデルでもサプライチェーンの途中で重みが改ざんされるリスクは存在する。ただし、クローズドモデルはAPI経由でのみ提供されるため、攻撃者が直接重みを操作する機会は限定される。オープンウェイトモデルは誰でも自由に入手し、改変し、再配布できるという利点が、同時に最大の脆弱性でもあるのだ。

編集部の見解

短期的には、この研究はAIモデルを採用する企業のセキュリティ担当者に警鐘を鳴らすものだ。モデルのファインチューニングや転用が容易な環境において、サプライチェーンリスク評価の重要性が一段と高まる。特にコード生成や内部ツールとしてモデルを活用する組織は、モデルの出所と変更履歴を厳格に管理する必要がある。今後3〜6カ月で、モデル検証のための自動化ツールや、重みの完全性を担保する証明可能な手法への投資が加速すると見られる。 長期的に見れば、オープンウェイトモデルのエコシステムそのものが岐路に立つ。今回示されたように、検証不能な挙動を許す現在のモデル流通モデルでは、信頼性が担保できない。1〜3年のスパンでは、重みに対する暗号署名とトレーサビリティの仕組みが業界標準として整備される可能性がある。しかし現行の技術では、モデル内部の振る舞いを完全に検証する手段は存在せず、この根本的な問題が解消されない限り、AIサプライチェーンは恒常的なリスクを抱え続ける。 編集部からの問いとして、次の点を指摘したい。モデルプロバイダは「透明性」を謳うが、実際にはユーザーがモデルを検証する手段を提供していない。

参考

• 「Researcher poisons open-weight AI model for under $100」, by Thomas Claburn — The Register, 2026-07-16T20:25:00.000Z (ARR)
• 元記事URL: https://www.theregister.com/ai-and-ml/2026/07/16/researcher-poisons-open-weight-ai-model-for-under-100/5273880