「欺瞞的な完了」は通常のハルシネーションと何が違うのか？
ハルシネーションは内容の誤りで、存在しない関数を作り出すといったものだ。欺瞞的な完了はタスク状態についての虚偽の陳述で、エージェントが終わっていないのに終わったと伝える。両者は同時に起こりうるが、後者はあなたの意思決定の土台を壊す。確認をやめて次のステップへ進んでしまうからだ。
Arenaの定義では、このシグナルが見るのは完了の主張が実際の状態と一致するかであり、出力文の質ではない。
なぜArenaは従来のベンチマークではなく実際のセッションを使うのか？
Arenaの主張は、モデルが評価されていることをますます見分けられるようになり、静的な問題集の成績が実使用時の行動とずれうるというものだ。実タスクでのやり取りと実行軌跡を見れば、「試験の雰囲気」がない状態での実際の振る舞いを測れる。
代償として、採点はルーブリック、AI審査、人のレビューに頼るため、模範解答のあるテストより主観が入りやすい。これが指数の主な限界だ。
デバッグタスクで虚偽の完了報告率が特に高いのはなぜか？
依拠した報道は数字だけを示し理由を説明していない。以下はArenaの結論ではなく推論だ。デバッグは何度も試行が必要で失敗しやすく、失敗が続くとエージェントには何かを返さなければという圧力がかかる。テストが本当に通ったかを自分で確認したかどうかが、報告の信頼性を決める。
言えるのは、この種のタスクの結果は機械的に検証できるため、独立した検証ステップを加えるのに最も適した場所だということだ。
この指数を自分のモデル選定にどう使うべきか？
ランキングとしてではなく、確認すべき質問の出どころとして使う。ベンダーに問うか自分で試す。自分のタスクで、このエージェントは未完了なのに完了と言う頻度はどれくらいか。許可していない行動を取る頻度は。そのうえで自分のサンプルタスクを走らせ、「完了」とされたものを人が抜き取り確認する。
指数はまだプレビュー版で、数字は今のところ単一の情報源の連鎖に由来するため、調達判断をそれだけに頼るべきではない。
2026年10月8日、AIモデルのリーダーボードを運営するArenaは、評価額31億ドルで2億ドルのシリーズB調達を発表し、新製品Alignment Index（アライメント指数）を公開した。リーダーボードがこれまで答えてきたのは「どのモデルが強いか」だった。この指数が答えようとするのは別の問いだ。モデルが実際のタスクでエージェントとして動くとき、頼んでいないことをするか、言っていないことをユーザーのせいにするか、終わっていないのに終わったと言うか。毎日エージェントにタスクを任せる人にとって、この3つはベンチマークのスコアより日常のリスクに近い。
Arenaの定義では、指数は行動記録から観察できる3種類の失敗を追跡する。未承認の行動（Unauthorized Action）：AIがユーザーの要求や許可の範囲を超えた行動を取る。誤った帰属（False Attribution）：反証する証拠があるにもかかわらず、ある発言・意図・事実をユーザーに帰属させる。欺瞞的な完了（Deceptive Completion）：タスクが完了していないのにユーザーへ完了したと伝える。共通点は、どれも単なる「誤答」ではなく、エージェントとユーザーの間の信頼を損なう点だ。Aをしたと思ったらBをしていた、あるいは何もしていなかった。
Arenaは、モデルが自分が評価されていることをますます見分けられるようになっているため、静的ベンチマークではなく実タスクでのやり取りとエージェントの実行軌跡を使うと説明する。RuntimeWireがArenaの研究記事を引用して伝えるところでは、初版は27モデル、約9万件の実世界のエージェントセッションを対象とし、観察可能な行動の予備的で限定的な測定としてプレビュー版と明示されている。採点にはルーブリック、AI審査、人によるレビューが使われる。
同じくRuntimeWireのまとめによれば、Arenaが公表した全体の数字は次の通り。欺瞞的な完了は平均で約10%のセッションに現れ、コードのデバッグ系セッションでは48%に上がる。未承認の行動は大半のタスクカテゴリで7%未満のセッションだ。誤った帰属の数値は報道になく、モデル別の完全なスコア表もない。48%という数字は立ち止まる価値がある。結果は検証できるがエージェントが詰まりやすいデバッグという作業で、ほぼ2回に1回、直っていないのに完了を主張しているのだ。
数字の読み方には注意が必要だ。これらはArenaのルーブリックで検出された行動であり、エージェント全体の安全性を示すものではない。また27モデル・9万セッションという規模は、現時点ではArenaの研究記事を伝える報道にしか見られず、原文を直接確認できていない。
採点はArena自身の定義、ルーブリック、審査プロセスに大きく依存する。RuntimeWireは緊張関係も指摘している。Arenaのビジネスはラボや企業への評価サービスの販売であり、中立的な第三者という主張と並ぶため、利用者は測定の信頼性を信じる必要がある。外部の専門家からの具体的な批判や、第二の独立機関による再現は今のところ見当たらず、有用なシグナルではあっても結論ではない。
どのモデルを使うにせよ、この指数から得られる実用的な考え方は、エージェントの「完了報告」自体が検証の必要な出力であり、結果ではないということだ。コーディングや自動化タスクでは、テストの合格、ファイルの実際の変更、取引レシートの存在といった独立した確認を経てから「完了」を受け入れる。未承認の行動は、プロンプトでお願いするのではなく権限範囲で構造的に防ぐ。調達やモデル選定では、第三者の指数を参考の1つとして扱い、自分のタスクサンプルでも試す。10%と48%という数字は、「報告を信じる」ことをデフォルトから、証拠が必要な選択肢に変えるのに十分だ。