ルールをより明確に、より詳細に書けば、忘れられるまでより長く持ちこたえられますか？
より明確に書くことは確かに役立つが、その効果は限定的だ。なぜなら問題の根源は「ルールが十分明確に書かれているかどうか」ではなく、ルールが入力全体における相対的な位置にあるからだ。ルールをどれほど丁寧に書いても、それが会話の早い段階で伝えられたものである限り、後続の内容が蓄積するにつれて、入力全体における位置は継続的に中盤へと押しやられていく。そして「迷子になった中間」現象が影響を与えるのは位置であり、内容自体の明瞭さではない。どれほど明確に書かれたルールでも、入力の中盤に押しやられれば、注意力は低下する。
実際に効果的な方法は通常、ルールの文言を単に改善することではなく、ルールが「配置される方法」を変えることだ。例えば高リスクなルールをシステムレベルの指示に組み込む（この種の指示はアーキテクチャ設計上特別に扱われることが多く、単に会話履歴に混ざって他の内容と一緒に後ろへ押しやられることはない）、あるいは数ターンごとに自動的にリマインダーを再挿入するよう設計し、ルールを繰り返し入力の相対的に前方の位置に戻す、といった方法だ。1回だけ十分明確なバージョンを書けば最後まで持ちこたえられると期待するのではなく。
「コンテキスト腐敗」と「迷子になった中間」は似ているように聞こえますが、同じことですか？
両者は密接に関連しているが、異なる層を描写している。「迷子になった中間」は、より基盤的で純粋な技術的現象を指す。会話内容の質にかかわらず、単にあるコンテンツの入力内での位置が中盤に落ちるという理由だけで、モデルのそれへの注意力が低下する。これは位置に関連した効果だ。「コンテキスト腐敗」は、より実務に近く、より包括的な記述だ。位置の問題だけでなく、会話中に蓄積する古くなった指示、失敗した試み、ノイズのようなツール出力もカバーしている。これらが増え続けることで、「有用な信号」と「ノイズ」の比率が悪化し続け、一部の重要な情報が技術的にはまだウィンドウの容量範囲内にあっても、周囲のノイズが多すぎることで実質的に希釈されてしまう。
両者は因果関係の異なる層として理解できる。迷子になった中間は具体的で測定可能な原因の一つであり、コンテキスト腐敗はこうした原因が積み重なって、エージェントの実際の行動に反映された全体的な現象だ。あなたが観察する「エージェントが突然おかしくなる」という現象の背後には、しばしば迷子になった中間のような複数の仕組みが同時に重なり合っていることが多い。
エージェントが忘れたことを自ら教えてくれない場合、実際の使用中にこの問題にどう気づけばよいですか？
最も直接的なシグナルは行動の一貫性の欠如だ。エージェントが以前すでに失敗した方法を繰り返し始めたり、新旧の要件を混同して処理し始めたり、これまでずっと守っていたルールに突然従わなくなったりした場合、これらはすべてコンテキスト腐敗が起きている具体的な兆候であり、一時的な偶然のミスだと決めつけるのではなく、立ち止まって改めて確認する価値がある。もう一つ能動的にテストできる方法は、会話がある程度の深さまで進んだ段階で、エージェントに直接「最初に伝えたルールは何でしたか」と尋ねることだ。答えが曖昧、不完全、あるいは実際に伝えたはずの要点が明らかに抜け落ちている場合、それは具体的で検証可能な警告サインとなる。
実質的な結果を伴うタスクについては、「異常な行動がないか観察する」という受動的な検知だけに頼るのではなく、会話の中で能動的かつ定期的に重要なルールを再確認する方がより安全だ。特にいくつかの重要なステップを完了した後や、不可逆な行動を実行する直前に行うとよい。この習慣自体には技術的な背景は一切必要なく、「エージェントの記憶は会話の深さとともに信頼できなくなる」という事実を、あなた自身がコントロールできる具体的なチェックポイントへと変換するだけのことだ。
この問題が解決されつつある兆候はありますか、それとも自分で何とかするしかありませんか？
業界がこの問題に対処する現在の主流の方向性は、単にコンテキストウィンドウをより大きくしようとするのではなく、「作業記憶」と「持続記憶」を明確に2つの層に分けることだ。研究者たちは広く、ウィンドウ容量を拡大しても忘却問題を本当に解決することはできず、単に「会話をまたいだ忘却」という問題を「ウィンドウ内でのパフォーマンス低下、入力コストの増加」という新しい問題に置き換えているだけだと指摘している。忘却を本当になくしているわけではなく、単に形を変えているだけだ。より効果的なアプローチは、現在の作業ウィンドウに何を残すべきか、何を要約して圧縮すべきか、何を完全にウィンドウの外に出して必要なときにのみ取得する持続記憶にすべきかを能動的に管理することだ。これは本サイトの別の項目で扱った記憶タイプの分類が、実務上のエンジニアリングで実際にどう応用されているかということでもある。
より先進的な研究の方向性としては、モデルが定期的に短期コンテキストを何らかの持続的な表現形式へと「圧縮」するべきだという提案もある。概念的には人間が睡眠中に記憶を定着させる過程に似ている。この種の研究は現時点ではまだ初期段階にあり、業界で広く採用される標準的な手法にはなっていない。一般ユーザーにとって、現段階でより現実的な態度は、この制約がまだ完全には解決されていないことを理解し、前述の定期的な確認の習慣を能動的に築くことであり、何らかの技術的ブレークスルーがこの問題を完全に消し去ってくれるのを待つことではない。
あなたは会話の最初にエージェントに「メールを自動送信しないで、まず私に下書きを確認させて」と伝える。最初の数ターンは確かにその通りに動くが、15ターン目あたりで突然自動送信を始め、まるでその指示を一度も聞いたことがなかったかのように振る舞う。これはエージェントが突然「壊れた」わけではなく、名前がつき研究によって定量化されている技術的現象だ。この現象を理解していなければ、いつエージェントを信頼すべきで、いつ改めてルールを覚えているか確認すべきかを判断するのは難しい。
この現象を理解するには、まず直感に反する事実を知る必要がある。言語モデルは本質的にステートレスであり、人間のように「前回何を言ったか」を覚えているわけではない。応答を生成するたびに、モデルが目にするのは、過去の会話を再構成したものと合わせて今回送信された完全なテキストだけだ。エージェントが「一貫している」ように見えるのは、システムが過去の会話内容を再構成し、今回の新しい入力と一緒にモデルのコンテキストウィンドウに送り込み、モデルに履歴全体を「もう一度読み直させている」からであり、それが「覚えている」という錯覚を生み出している。つまり、あなたが設定したルールはモデルが「学習した」ものではなく、会話履歴の中に宙づりにされたまま、「まだウィンドウの中に残っている」という事実だけによって支えられているのだ。
会話が広告されているウィンドウ容量の上限を超えていない限り、ルールは必ず健在で有効だとあなたは思うかもしれない。しかし独立した研究によれば、事はそう単純ではない。モデルは入力の中盤に埋もれた内容への注意力を、周囲に蓄積するテキストが増えるにつれて低下させる。この現象は「迷子になった中間（lost in the middle）」と呼ばれ、スタンフォード大学とカリフォルニア大学バークレー校の研究チームが2023年に初めて提唱し定量化した。彼らは検索精度がU字型の曲線を描くことを発見した。入力の最初と最後に置かれた内容は最も正確に捉えられる一方、中間に埋もれた内容は明らかに軽視される。会話の最初に設定したルールは、当初この比較的安全な「冒頭」の位置にあるが、会話が蓄積し続けるにつれて、そのルールの入力全体における相対的な位置はどんどん中間へと押しやられ、それに伴い注意力も低下していく。
2026年のある研究は、6つの異なる会話の深さにわたり合計4,416回の試行を行い、この現象がエージェントの実際の行動に与える影響を具体的に定量化した。記憶の緩和メカニズムが一切ない状態で、エージェントのルール遵守率は5ターン目の73%から16ターン目の33%へと低下した。これはモデルが突然「壊れた」わけでも、ランダムなエラーでもなく、会話の深さとともに予測可能な形で悪化していく曲線だ。業界ではこの現象を「コンテキスト腐敗（context rot）」とも呼ぶ。会話履歴、古くなった指示、ツールの出力、失敗した試みが蓄積し続けるにつれて、有用な信号とノイズの比率が下がり続け、モデルの性能はそれに伴い悪化する。しかもこれは、ウィンドウが本当に満杯になるまで待って起こるものではなく、ウィンドウがまだ満たされていないうちから、劣化はひそかに始まっている。
この現象の最も厄介な点は、一切のエラーメッセージを生成しないことだ。ほとんどの本番運用されているエージェントシステムは、コンテキストが容量を超えると、最も古い内容を静かに破棄するという対処をする。エージェントはクラッシュせず、警告も出さず、ただ動き続ける。誤った前提を抱えたまま、自信満々に前へ進み続ける。「何かを忘れた」というシグナルは一切あなたに届かず、あなたが気づくのはその行動が突然おかしくなること——すでに一度失敗した方法を繰り返す、新旧の要件を混同する、あるいは冒頭の例のように、あなたがすでに伝えたルールにもはや従わなくなる、といった形でだ。
あなたが実質的な結果を伴うタスク（メール送信、データの変更、取引の実行）にエージェントを使っているなら、この現象を理解することは具体的な利用習慣を築く助けになる。「一度伝えたのだから、ずっと覚えているはずだ」と決めつけないことだ。特に会話がすでに十数ターンにわたって進んでいる場合や、タスクが大量のツール呼び出しや文書の読み込みを伴う場合はなおさらだ。高リスクなルール（「自動送信しないで」「ある金額を超えたら先に私に確認して」など）については、会話の中で定期的にルールを改めて言い直すか、使用している製品がこの種のルールを、より前方に位置し中間に押しやられにくいシステムレベルの指示として組み込んでいるかを確認する方が、より現実的なアプローチだ。単に会話履歴に混ぜたままにして、タスクが終わるまで持ちこたえてくれることを期待するのではなく。