上下文工程,不是把更多东西塞给模型
上下文窗口只规定模型最多能看到多少内容。真正的上下文工程,要处理材料的选择、压缩、排序、隔离和淘汰,还要给长任务留下可以继续工作的状态。
3 篇文章
上下文窗口只规定模型最多能看到多少内容。真正的上下文工程,要处理材料的选择、压缩、排序、隔离和淘汰,还要给长任务留下可以继续工作的状态。
LLM、Prompt、Context、RAG、Tool、Workflow、Loop、ReAct、Memory 和 Agent 经常出现在同一段介绍里,却不处于同一层:模型负责生成,上下文与 RAG 补充材料,Tool 连接外部能力,Loop 和 ReAct 组织决策,Agent 把它们变成一套运行系统。
续章的全书整理功能曾把作品设定、章节、事实和记忆一次性发给模型,两次调用跑了八分多钟。后来我把它改成按需查资料的有限 Agent 循环,没用框架,也没再被单次超长上下文拖死。