なぜエージェントはタスクの途中で突然、先に伝えたルールを「忘れて」しまうのか？

あなたは会話の最初にエージェントに「メールを自動送信しないで、まず私に下書きを確認させて」と伝える。最初の数ターンは確かにその通りに動くが、15ターン目あたりで突然自動送信を始め、まるでその指示を一度も聞いたことがなかったかのように振る舞う。これはエージェントが突然「壊れた」わけではなく、名前がつき研究によって定量化されている技術的現象だ。この現象を理解していなければ、いつエージェントを信頼すべきで、いつ改めてルールを覚えているか確認すべきかを判断するのは難しい。モデルは本質的に何も覚えていない、毎回改めて伝えない限りこの現象を理解するには、まず直感に反する事実を知る必要がある。言語モデルは本質的にステートレスであり、人間のように「前回何を言ったか」を覚えているわけではない。応答を生成するたびに、モデルが目にするのは、過去の会話を再構成したものと合わせて今回送信された完全なテキストだ...