デモが問題なく動いても、なぜエージェントウォッシングの可能性があるのですか？
デモのシナリオはほぼ常にベンダー自身が設計し、繰り返しリハーサルした固定経路であり、テストしているのは「すでに練習済みの手順をたどれるか」であって、「見たことのない状況に対応できるか」ではないからだ。カーネギーメロン大学がSalesforceと共同開発したベンチマークTheAgentCompanyは、この落差を数値化している——自律的な判断とシステム横断的な操作が必要な模擬企業環境において、最も優れたモデルでも自律的に完了できたタスクは約3割にとどまった。
つまり、デモがスムーズに進行したことは「リハーサル済みの経路が機能する」ことしか証明しておらず、「異なるシナリオではどうなるか」というより重要な問いには何も答えていない。
セッションを跨いだ記憶が、本物と偽物のエージェントを見分ける重要な指標の一つなのはなぜですか？
複数ステップの自律タスクは通常、複数回のやり取りにまたがる——今日途中まで進めた計画を、明日新しい情報に基づいて調整する必要があるかもしれず、これにはシステムが以前に話し合った内容や決定を覚えていることが求められる。すべてのやり取りがゼロから始まるなら、そのシステムは本質的にステートレスな質問応答ツールであり、「エージェント」らしく外見をパッケージ化していても、時間を跨いだタスクを本当の意味で継続することはできない。
テスト方法は明快だ。一度の会話を終えて新しく始め、「前回どこまで話しましたか」と直接尋ねる。本当に記憶を持つシステムは具体的な内容を答えるが、ステートレスなツールは通常ここで正体を現し、全く答えられないか、漠然とした一般的な返答をする。
Gartnerが挙げる40%のプロジェクト中止は、エージェントウォッシングとどう直接関係していますか？
Gartnerは、コスト超過や事業価値の不明確さなどを理由に、2027年末までにエージェンティックAIプロジェクトの40%超が中止されると予測している。この数字がエージェントウォッシングと直接関係している理由は、多くのプロジェクトが調達段階で「これは本当に自律的に動作するシステムか」を実際には検証していなかったからだ——購入者はデモとマーケティング用語を見て判断し、実際に導入して各ステップで人間の承認が必要だと気づいて初めて、購入したものが実は再パッケージ化された自動化スクリプトだったと理解する。その頃にはプロジェクトのコスト構造はすでに元が取れず、中止が唯一の選択肢となる。
これが、「見たことのない状況に対応できるか」といったテストを調達の検収条項に明記することが、デモを見るだけよりも重要な理由でもある——検証のタイミングをお金を使う前に前倒しし、導入後に落差に気づくという事態を防げるからだ。
すでに契約してシステムを導入し、後からエージェントウォッシングの疑いに気づいた場合、どうすればよいですか？
まず前述の4つのテスト（未知の状況への対応、セッションを跨いだ記憶、ベンダーが完全自律を主張しているか、チャットボットとの能力差）を実施し、結果を具体的に記録する。これは、ベンダーに改善を求めるにせよ契約条件を再交渉するにせよ、後の証拠の基盤となる。契約に具体的な検収条件（例えば「N個のステップを自律的に完了できること」）がすでに明記されている場合、疑わしい落差はその条項に照らして直接主張できる。契約締結時にデモの結果しか検収していなかった場合、契約上の主張は難しくなるが、更新時や追加購入時の交渉材料にはなる。
より根本的な対処法は、この落差を社内の調達チェックリストとして記録し、今後あらゆる新規システム調達において、契約前に必ず4つのテストを実施することだ。検証のタイミングをお金を使う前に確実に前倒しする。
あらゆる資金調達資料に「autonomous」「self-directed」「AI従業員」と書かれている今、これらの言葉はほとんど何も語らなくなっている。エージェントウォッシングはまさにこの現象を指す——チャットボットやルールベース自動化を自律型エージェントとして販売するが、実際には自律的な推論能力は存在しない。問題は、ベンダーが「うちは本物のエージェントだ」と言うのを聞くだけでは何もわからないという点だ。実際にテストできる判断方法が必要である。
デモが販売プロセスの中で最も誤解を招きやすい部分である理由は、デモが通常ベンダー自身が設計し、繰り返しリハーサルした固定された経路をたどるからだ。カーネギーメロン大学がSalesforceと共同開発したベンチマークTheAgentCompanyは、CTO・人事・エンジニアなどの役割を備えた模擬企業環境で主要モデルのエージェント性能をテストし、内部チャットツール、社内マニュアル、ウェブサイトを使って自律的にタスクを完了させる。結果、最も優れたモデルでも自律的に完了できたオフィスタスクは約3割にとどまり、多くのモデルの成功率は3割5分を大きく下回った。この落差こそが「リハーサル済みのデモではうまくいく」ことと「実際の状況の不確実性に対応する」こととの大きな溝であり、デモは通常、前者しか見せていない。
ベンダーに「本物のエージェントですか」と尋ねる代わりに、その場でテストしたり無料トライアルで検証したりできる具体的な質問をいくつか用意しよう。
第一に、事前にスクリプト化されていない状況に対応できるか？デモの入力を少し変えてみる——デモされなかったタスクタイプや、矛盾する情報を含むリクエストを与え、システムが停止するか、ループに陥るか、それとも合理的に対応できるかを確認する。ルールベースの自動化は、スクリプト外の入力に直面すると、通常は完全に失敗するか、無関係な応答を返す。
第二に、セッションを跨いだ記憶を保持しているか？一度のやり取りを終えて新しいセッションを開始し、システムが前回話した内容や決定を覚えているかを尋ねる。すべてのやり取りがゼロから始まる場合、それは通常、持続的なコンテキストを持つエージェントではなくステートレスなツールであることを示している。
第三に、ベンダーが「高リスクな意思決定において人間の関与を一切必要とせず完全に自律的である」と主張しているか？これは最も明確な危険信号の一つである。現時点で、企業の文脈において人間の監督を必要としない真に完全自律的なシステムは存在しない。ベンダーがそう主張する場合、通常は定義が意図的に緩められているか、システムの実際の限界を過小評価していることを意味する。
第四に、このシステムは適切に設定されたチャットボットにはできない何ができるのか？回答が曖昧であったり、「より正確に質問に答える」といった程度の違いにとどまり、「複数ステップのタスクを自律的に計画し、ツールを呼び出し、結果に応じて動的に調整する」といった能力レベルの違いを示せない場合、既存ツールの再パッケージ化である可能性が高い。
Gartnerはすでにエージェントウォッシングを企業のAI調達における主要なデューデリジェンス・リスクとして挙げており、コスト超過と事業価値の不明確さを理由に2027年末までにエージェンティックAIプロジェクトの40%超が中止されると予測している。この中止の波の少なからぬ部分は、調達時にパッケージングを見抜けなかったことに起因する。実務上は、上記4つの質問を契約の検収条項に明記することが、ベンダーの口頭での約束よりもはるかに拘束力を持つ——例えば「事前に設定されていないタスクタイプにおいて、少なくともN個のステップを自律的に完了できること」を明示的に要求し、明確な検収テストシナリオを添付することが、デモ当日の結果をそのまま受け入れるよりも有効である。
あなたが購入者であれば、エージェントウォッシングに騙されることの直接的なコストは「製品の使い勝手が悪い」ことではなく、資源配分の誤りである——人間の関与を減らせるシステムを期待していたのに、実際には重要な各ステップで人手による承認作業が発生し、時間の節約にならないばかりか、賢く見えるが実際には人間に大きく依存するシステムを維持する管理負担が増える。あなたが投資家であれば、この落差はあなたが評価しているビジネスモデルの前提に直接影響する——レベル1や2の自動化をレベル3や4の自律システムとして再パッケージ化している企業は、コスト構造・参入障壁・スケーリング経路の見積もりすべてが誤った能力の前提の上に構築されている可能性が高い。契約や投資の前に、上記4つのテスト質問を実際に試す時間を取ることは、資金調達資料をすべて読むよりも実態を反映することが多い。