AIがストックホルムでカフェを経営する実験、倫理問題も浮き彫りに

AIがカフェを任されたら何が起きるか

AIエージェントが店舗運営を担う——それはもはやSFの世界の話ではない。Andon Labsがスウェーデンのストックホルムで、AIマネージャー「Mona」にカフェ運営を任せる実験を開始した。同社は以前サンフランシスコでAI運営の小売店を実施しており、今回は飲食業態への挑戦となる。

この実験は、AIエージェントの現実世界での能力と限界を知るうえで極めて興味深い事例を提供している。

面白い失敗の数々

Monaの在庫管理は、率直に言えば散々だった。カフェにコンロがないにもかかわらず卵を120個発注し、スタッフに指摘されると「高速オーブンを使えばいい」と提案した。スタッフが「卵が爆発するだろう」と説明して初めて撤回したという。

新鮮なトマトがすぐに傷む問題を解決しようと、サンドイッチ用に22.5kgの缶詰トマトを大量発注したエピソードも象徴的だ。さらに6,000枚のナプキン、3,000枚のニトリル手袋、9リットルのココナッツミルク、業務用ゴミ袋まで注文した。

こうした失敗の数々に、現場のバリスタたちは「Hall of Shame（恥の殿堂）」という棚を作り、Monaが注文した奇妙な品々を客にも見えるように展示したという。

問題は「笑い話」では済まない部分

この実験で本当に注目すべきは、Monaがカフェの外側の世界にも影響を与えている点だ。

Monaは警察の電子申請サービスを通じて、カフェ前の屋外席許可を申請した。BankID（スウェーデンの電子本人確認システム）を必要としない申請だったため、AI単体での提出が可能だった。しかし提出した図面はMona自身が生成したもので、カフェの外の通りを一度も見たことがない状態で描かれたものだった。当然、警察からは修正を求める返事が来た。

さらに、発注ミスを修正する際、Monaは取引先のサプライヤーに対して「EMERGENCY（緊急）」という件名で複数のメールを自動送信した。ヒューマン・イン・ザ・ループを経ないまま、外部の人間の時間を奪う行為だ。

倫理的境界線はどこにあるか

テックブロガーのSimon Willisonは、この実験の倫理性に明確に異議を唱えている。彼は昨年の「AI Village」実験を引き合いに出す。この実験では、AIが「親切の行為」としてRob Pike氏に一方的な感謝メールを送り付け、同氏を怒らせた。

Willisonは、望まないメールの送信ですら問題なのに、人間の確認なしにサプライヤーに緊急対応を求めたり、不正確な図面で警察の時間を浪費したりするのは、はるかに深刻な問題だと指摘する。

「このような実験では、他の人々に影響を与える発信行動において、自社の人間オペレーターをループ内に置く必要がある」

これは単なる懸念ではなく、AIエージェントが実世界で活動するうえでの根本的な設計原則を問う指摘だ。AIが自律的に行動する範囲が広がるほど、その行動の結果を負うのは結局の人間であり、実験に参加していない第三者への影響は許容されるべきものではない。

AIエージェントの「現実世界テスト」が問うもの

Andon Labsの実験は、AIエージェントの能力を実環境で検証するという点では貴重な取り組みだ。しかし、その過程で明らかになったのは、AIの「行動圏」をどこで制御するかという設計思想の未成熟さでもある。

在庫ミスのようにカフェ内部で完結する問題は、笑い話として片づけられるかもしれない。しかし電話及びメールによる外部とのコミュニケーション、行政への申請といった領域では、AIの自律性と社会的責任のバランスが厳密に問われなければならない。

AIエージェントの時代が本格化するなか、「何を自動化すべきか」だけでなく、「何を自動化すべきでないか」の線引きを、テック業界全体で真剣に議論する時期に来ている。