上下文工程,不是把更多东西塞给模型
上下文窗口只规定模型最多能看到多少内容,上下文工程还要处理材料的选择、压缩、排序、隔离和淘汰。从调用怎样装配系统指令、用户任务、检索材料和工具结果说起,区分 RAG、Memory 与 Tool Result 的作用,再讨论长任务怎样保存状态、继续执行和验证效果。结合踩坑,说明为什么扩大窗口或堆入更多材料未必能改善结果。
3 篇文章
上下文窗口只规定模型最多能看到多少内容,上下文工程还要处理材料的选择、压缩、排序、隔离和淘汰。从调用怎样装配系统指令、用户任务、检索材料和工具结果说起,区分 RAG、Memory 与 Tool Result 的作用,再讨论长任务怎样保存状态、继续执行和验证效果。结合踩坑,说明为什么扩大窗口或堆入更多材料未必能改善结果。
LLM、Prompt、Context、RAG、Tool、Workflow、Loop、ReAct、Memory 和 Agent 经常出现在同一段介绍里,却不处于同一层:模型负责生成,上下文与 RAG 补充材料,Tool 连接外部能力,Loop 和 ReAct 组织决策,Agent 把它们变成一套运行系统。
续章的全书整理功能曾把作品设定、章节、事实和记忆一次性发给模型,两次调用跑了八分多钟。后来我把它改成按需查资料的有限 Agent 循环,没用框架,也没再被单次超长上下文拖死。