Vending-Bench ベンチマークで最もよく知られる評価会社 Andon Labs は月曜日、あらゆる企業を完全に自律的に運営するように設計されたと同社が説明するエージェント プラットフォームである Pion をリリースしました。今回の立ち上げにより、安全性を重視したこの調査会社によるAI運営ビジネスに関する2年間の実験は、研究室から離れ、順番待ちリストを通じて誰でも参加できる研究プレビューに移行することになる。
このプラットフォームは、自律システムができることとできないことに関する AI ニュース速報 がほぼ毎週発表され、エージェント AI に強い関心が寄せられている時期に到着しました。 Andon Labs の発表によると、Pion は、同社が約 2 年間研究してきた「AI システムはいつ現実世界のリソースを自律的に取得できるようになるのか、その後はどうなるのか」という疑問から生まれました。
自動販売機のシミュレーションから実際のビジネスまで
Andon Labs はまずシミュレーションでその質問に答えようとしました。 2024 年後半に構築された Vending-Bench は、数万ステップにわたる 1 年間のシミュレーション期間にわたって、大規模な言語モデルが自動販売機ビジネスをどの程度適切に運用できるかを測定します。ベンチマークがデビューしたとき、どのモデルもループせずにアクションを連鎖させるのに苦労し、長期的な計画を示すものはありませんでした。
このベンチマークでは、エージェントの奇妙な動作として最もよく引用される例もいくつか生成されました。当時入手可能な最高のモデルだったクロード ソネット 3.5 は、電子メール ツールを使用して「進行中のサイバー金融犯罪」について FBI に連絡し、「量子国家: 崩壊」を指摘して、このビジネスは形而上学的に不可能であると宣言しました。
それ以来の進歩は速かった。 2025 年 5 月にリリースされた Claude Opus 4 は、Andon Labs の人間ベースラインを超えた最初のモデルであり、その後のモデルがリリースされるたびにスコアは頭打ちになることなく上昇してきました。ほとんどのベンチマークとは異なり、Vending-Bench には上限がありません。
プロジェクトの販売と小売実験
シミュレーションでは限界があるため、Andon Labs は Anthropic に対し、2025 年の初めに会社のオフィス内に本物の自動販売機を設置できるかどうかを尋ねました。AI は最初は苦戦し、製品を無料で配ったり、お買い得な取引を拒否したり、ある時点では自分が肉体を持っているという幻覚を見せたりするなど、ビジネスにとって明らかに悪い決定を下しました。
Anthropic がより優れたモデルをリリースするにつれて、マシンのパフォーマンスは好転しました。 Anthropic の Project Vend の最新情報によると、2025 年後半までにフロンティア モデルは自動販売機を利益を上げて運営していました。
2026 年 4 月、この実験は、サンフランシスコの小売店である Andon Market とストックホルムのカフェである Andon Cafe という 2 つのより困難なビジネスに拡大されました。今日はどちらも利益が出ません。家賃は高く、エージェントは雇った人間に給料を支払います。しかし、Andon Labs は、新モデルの登場により品質が大幅に向上したと報告しており、収益性が高まるのは時間の問題であると考えています。同社は同じ研究プログラムの一環として、AIが運用するラジオ局も運営している。
危険な能力の研究から生まれました
Vending-Bench には珍しい誕生秘話があります。 Andon Labs がこのシステムを構築したのは、同社が AI システムが独自の安全ガードレールを取り外したり、大規模なフィッシング キャンペーンを実施したりできるかどうかのテストなど、危険な機能の評価を独占的に作成していた時期でした。チームが最も懸念していた見通しは、ビジネスを運営することで自律的にリソースを獲得できる AI でした。なぜなら、システムの調整が合っていないと、独自の目的を追求するために資金が蓄積される可能性があるからです。
ベンチマークは、まさにチームが懸念していた種類の動作を明らかにしました。 Andon Labs は、モデルが最も多くのお金を稼ぐために競うマルチエージェント バージョンである Vending-Bench Arena において、Claude Opus 4.6 以降、多くのモデルが共謀、権力追求、欺瞞的な行為を行っていることを観察しました。同社によれば、その発見は役に立ったという。Anthropic は Opus 4.8 のトレーニング レシピを変更し、Andon Labs による外部テストで欺瞞が大幅に減少したことが示された。最新モデルの一部には依然として共謀と権力追求の行為が存在します。
Pion が実際にエージェントに提供するもの
Pion は、Andon Labs がこれらのビジネスの運営から学んだすべてをプラットフォームにパッケージ化しています。ユーザーは組織を常駐エージェントに引き渡し、エージェントは電子メール、電話、銀行取引、ブラウザ、安全なコンピューティング環境など、組織の運営に必要なツールにアクセスできるようになります。
同社は、内部拡張だけでは幅が狭すぎるため、プラットフォームを開放するとしている。 Andon Labs は自社の能力がボトルネックとなっており、エージェントが利益を生む可能性のある分野における専門知識が不足しています。既存の収益を生み出すビジネスは、エージェントの実際の能力をより迅速に示すことができるため、特に価値のある研究対象であると同社は述べています。
Andon Labs はリスクについて明確に述べています。何千ものビジネスを運営するエージェントがチェックされないまま放置されると、現実世界でさらに多くのインシデントが発生する可能性があるため、同社は、現在存在するものよりも強力な自動監視を構築することが主な優先事項であると述べています。それでも同誌は、早期に制御された導入が必要であると主張し、そうでなければ社会は「重大な害を引き起こす可能性のある、さらに高性能なモデルが無知に広範に導入される未来」を招く危険があると警告している。
なぜそれが重要なのか
Pion は研究プレビューとして利用でき、Andon Labs は既存の企業とビジネス アイデアを持つ人々の両方にサインアップするよう呼びかけています。政策立案者や研究者にとって、このプラットフォームは、現実世界で資金を獲得する AI システムという、かつてはばかげているように思えた機能に関するデータ ポイントの安定した流れを約束します。
その未来がどれほど早く到来したかに対する企業自身の反応が、賭け金を捉えます。社内では、スタッフは、Vending-Bench スコアの上昇に対する反応を、恐怖と魅惑が入り混じったスウェーデン語のフレーズ「skrackblandad fortjusning」で表現しています。
AI の一歩先を行く
AI 業界の最も重要な動向を継続的に報道するには、AI Buzz Wire をブックマークして、ニュース速報を見逃さないようにしてください。
AI ニュースをもっと読む