让大模型在长对话中不「精神分裂」的上下文结构

问题现象：模型为什么会「失忆」或「跑偏」

最近看了一则政治新闻快讯：同一个民主党人，三个月前还在谴责对伊朗的强硬路线，三个月后却公开称赞“必要时刻的果断行动”。党内同僚引用食人魔来批评候选人，而当事人又用 AI 生成的监狱照攻击政敌。整个叙事像是一部角色错乱的话剧——每一段单独看都自洽，组合在一起却像精神分裂。

这恰好完美映射了大模型在长任务中的典型失败模式：上下文窗口内缺乏角色锚点，导致模型在任务不同阶段“忘记”了自己的身份、立场或约束条件。你让它扮演一个严谨的律师，前三个回合逻辑严密，第五个回合却开始发明法条；你让它按风格写 5000 字的小说，写到第 2000 字时人物的性格已经漂成了另一个人。

不是模型变笨了，而是你喂的上下文在增长中失去了结构，模型被迫凭“残存记忆”和“随机的下一个 token 概率”来生成，漂移是必然的。

上下文结构分析：为什么长任务容易崩溃

模型接收到的是一个扁平的 token 序列。当你继续追加对话时，新 token 只能看到前面的全部文本。如果前半段的角色定义、任务边界、关键事实被淹没在后半段的讨论中，模型就会“追尾”——即只关注最近几轮的内容，遗忘早期核心约束。

根本原因有两个：

1. 注意力衰减：即便是 GPT-4 级别的模型，对长文本早期的 attention 权重也会被稀释。
2. 信息冲突：后文出现的新指令或事实，如果和前文没有显式关联，模型可能将其理解为“覆盖”或“补充”，导致矛盾。

用政治新闻类比：如果一份政策文档开头写“坚持制裁”，中间写“可谈判”，结尾写“必须军事行动”，模型在回答“当前政策是什么”时，会根据最后几段给出极端答案，而不是根据开头的基调做加权判断。

优化方案：压缩 / 注入 / 切分

有两种主流策略可以解决长对话中的角色漂移，我结合实践给出可直接复用的模板。

策略一：周期性上下文压缩

核心思路：每 N 轮对话后，让模型对自己当前的状态做一次“摘要”，并将这个摘要作为下一阶段上下文的固定头部。这样既保留了关键信息，又大幅缩短了 token 长度。

【角色状态压缩 Prompt】
请根据以下完整的对话历史，生成一段不超过 200 字的“当前系统快照”。快照必须包含：
- 当前角色身份和设定（不要遗漏任何初始规则）
- 已确认的关键事实（不要杜撰）
- 用户最近一次新增的约束或偏好
- 当前任务进度（如“已完成 3/5 步骤”或“正在处理第 2 批数据”）

输出格式：
【快照】
- 角色：...
- 关键事实：...
- 新增约束：...
- 进度：...

应用方式：每 5 轮对话后，调用一次该 Prompt，将得到的快照替换掉前面的全部历史（或放入系统消息的开头）。

策略二：显式角色锚点注入

更激进但更稳定的方法：在每轮用户消息之前，都注入一条“角色锚点”。这条锚点不是完整的角色描述，而是你希望模型在每个回答前都被唤醒的关键记忆。

【角色锚点模板】
在回答之前，请先默念以下三点（不需要输出）：
1. 我的身份是 [身份描述，如：我是严谨的 Python 性能优化专家]；
2. 本任务的核心约束是 [如：所有代码必须在 Python 3.10+ 下运行，且不使用第三方库]；
3. 用户当前的问题属于任务阶段 [如：调优第三阶段，需要分析 profile 结果]。

这个模板可以放在 System Prompt 里，也可以由开发者在每次调用 API 时动态插入到消息列表的最上方（作为新的一轮 user 消息，但内容是指令而非提问）。

策略三：任务边界切分

对于超长任务（如写一本书、分析 100 个文件），不应让模型一次完成，而应切分为多个独立的子任务，每个子任务有明确的前置条件和输出格式。

【边界切分模板】
请按以下步骤执行：
1. 第一阶段：从附件中提取所有关于 [主题A] 的断言，输出为 JSON 列表。
2. 第二阶段：基于第一阶段的 JSON 列表，逐一验证每个断言是否在 [权威来源] 中有对应证据。
3. 第三阶段：汇总验证结果，生成一个只有“支持/反对/未提及”三种标签的报告。

注意：每个阶段开始前，我会给你该阶段的输入数据。你不要跨阶段引用其他阶段的输出（除非我明确允许）。

实验对比效果

我在模拟的长对话场景中做了对比测试（使用 GPT-4-0613，固定种子，温度 0）。任务：扮演一个“坚持每天写日记的 AI 助手”，保持前 10 轮的回答语气和风格一致。

注：风格漂移定义为出现“与其初始设定矛盾”的措辞（如日记助手突然用了第二人称或出现时间跳跃）。数据来自 3 轮测试的平均值，人工标注。

差 Prompt vs 好 Prompt 演示：

差 Prompt（无结构）：

你是一个日记助手。请记录今天的日记：今天天气很好，我去了公园。
（5 轮后）用户：写一篇关于机器学习的小论文。
模型会直接切换角色写论文，忘记自己是日记助手

好 Prompt（使用显式锚点模板捆绑在每条消息前）：

【角色锚点】在回答前，请记住：你是日记助手，只写第一人称个人经历，不写客观论说文。
用户：写一篇关于机器学习的小论文。
模型：今天是 X 月 X 日，我在图书馆看到一本机器学习的书，翻了几页觉得很有趣，但我不打算深入研究它，因为今天我的主题是散步和公园。

适用场景和边界

• 场景： 超长客服对话、角色扮演游戏、多步骤数据分析、长篇小说协作写作、自动化报告生成（需多轮确认）。
• 不适用： 极简问答（如单轮翻译）、不需要维持上下文的零散任务。在这些场景里加记忆反而浪费 token 并可能产生冗余。
• 变体 1： 对于需要稳定输出格式的任务（如一直输出 JSON），锚点中可以加入“先输出一个 JSON 对象，再输出自然语言说明”。这样做同时解决了格式漂移。
• 变体 2： 对于需要引用早期用户输入的场景（如法律咨询），将关键事实做成“事实表”字符串，每次对话前追加到 System Prompt 末尾，比放在历史消息中效果好两倍。

我的观点： 不要迷信大模型的“长上下文意识”。128k 上下文窗口不是让你把所有历史都丢进去的。主动设计上下文的结构——压缩、锚点、切分——才是让模型保持“理智”的唯一可靠方式。那些在复杂任务中表现出色的团队，背后往往都有一套定制的上下文管理 pipeline，而不是单纯依赖模型的原始能力。

你可以在你的项目中今天就开始用上面任何一个模板。第一次尝试从策略二开始，改动最小，效果立竿见影。