Agent 驾驭工程学习笔记:从操控循环到坏味道重构

引言:Harness 解决的核心问题是,怎样把模型的推理能力组织成一个能行动、能检查、能延续的工作系统。

Agent 驾驭工程学习笔记

先说结论:Agent 是能围绕目标感知环境、采取行动的系统;LLM 让它能够理解目标并推断下一步,Harness 则把行动、反馈和状态组织起来。 要让这个系统稳定工作,我认为可以按四个层次理解:

  1. 是什么:从 Agent 的一般定义,走到 LLM + Harness 的实现视角。
  2. 怎样运转:外层循环管理整个任务,内层循环指导具体行动并检查结果。
  3. 怎样落地:用四个子系统承载规则和能力,再用六项实践改进稳定性。
  4. 怎样重构:从常见的失败迹象出发,修正指令、原则、知识来源与完成判断。

一、是什么:从 Agent 到 Harness

经典 AI 教材《Artificial Intelligence: A Modern Approach》把 Agent 描述为:通过传感器感知环境,并通过执行器作用于环境的实体。这里的“传感器”和“执行器”是抽象说法:软件 Agent 可以读取文件或 API 返回值作为感知,也可以调用工具、写文件作为行动。这个定义早于今天的 LLM Agent,并不要求 Agent 必须有大模型。

此处见教材 Agent 章节。

到了 LLM Agent,LLM(大语言模型)负责理解和推理,Harness(驾驭模型的工作系统)组织指令、工具、环境、状态与反馈,使系统能够围绕目标持续行动。可以用 Agent = LLM + Harness 帮助理解,但它不是严格的组件等式。

APP 与 Agent 有什么不同?

传统应用可以概括为 App = Runtime + Business Logic:运行时执行程序,开发者提前把业务行为写成代码。对应地,Agent = LLM + Harness 强调模型能根据目标和上下文推断行动,Harness 为这种动态行为提供规则与执行条件。

维度 传统 APP LLM Agent
用户表达需求 在预设页面、按钮和表单中操作 用自然语言给出目标与约束
行动路径 主要由开发时的代码分支决定 可根据执行中的观察动态调整
行为依据 固定业务逻辑、数据与配置 模型推断,加上 Harness 的指令、工具、状态与检查
质量保障 程序校验、测试、人工操作 同样需要程序校验与测试,还要处理模型输出的不确定性

对用户而言,变化是:过去需要自己在 APP 中选择页面和操作步骤;在适合交给 Agent 的任务里,可以直接说明目标,让系统决定部分步骤。这不是说 APP 会消失,或者 Agent 可以代替所有代码。比如“帮我整理一篇博客”,Agent 可以根据材料决定先读什么、哪里需要补充;但文件能否读取、图片是否上传成功、页面是否构建通过,仍要依赖实际工具和程序检查。

我在《Claude原理》中写过 Agent = CLI/UI + REPL + LLM + Memory + Tools,还接触过“一个 Bash 加一个 Loop”的说法。它们强调的层次不同:

表达方式 主要想说明什么
LLM + Harness 模型需要一套组织任务和反馈的机制
CLI/UI + REPL + LLM + Memory + Tools 编程 Agent 产品通常有哪些实现部分
Bash + Loop 编程 Agent 可以用循环和 Shell 工具构造极简行动接口

其中 CLI 是命令行入口,REPL 是反复接收输入并执行的交互循环,Bash 是一种命令行工具。它们都不是所有 Agent 的定义要件,跨会话记忆也不是。“所有接收输入并输出结果的模型都算 Agent”又太宽了。仅有输入框和一次模型回复,更接近普通 LLM 调用;本文讨论的 LLM Agent,关键是系统能围绕目标选择行动、取得观察结果,并决定继续还是停止。固定步骤全部由代码预先排好的工作流也可能使用 LLM,但与模型在执行中决定步骤的 Agent 有区别。

Agent 系统的行动闭环

上图按运行过程画一个典型 Agent 系统:用户提出目标,Harness 组织指令与上下文并调用模型;模型提出回答或工具调用;系统执行工具、接收结果、更新状态,再进入下一轮或交付。模型提出工具调用,不代表它自己直接获得文件系统、浏览器或数据库的执行权限,这些仍由外部系统控制。

为什么说 LLM 是“通用运行时”?

我的理解是:一部分过去需要程序员穷举的分支,现在可以由模型结合自然语言和现场信息推断;Harness 则承载业务规则、工具和检查方式。“LLM 是通用运行时”是软件设计上的类比,不是说 LLM 取代操作系统、解释器或确定性的业务代码。

这种变化体现在两个阶段,容易看成同一回事:

  1. 应用逻辑简化:开发时,不必把所有语义变化提前写成固定分支。
  2. 工作流动态化:运行时,模型可以依据目标与工具反馈调整下一步。

例如写博客时,我不必为每种 PDF 内容编写一种提纲模板,这是开发时逻辑的简化;读到关键概念解释不清时,先补读原文再写下一节,这是运行时流程的调整。路径检查、构建结果、权限边界等可确定的部分仍应交给程序。从软件工程的角度看,内部 Harness偏向“系统怎样可靠地执行”,外部 Harness偏向“针对具体目标提供哪些规则、知识和能力”。这分别对应架构与设计的关注点,但两者并非严格的一一对应关系。

二、怎样运转:外层管进度,内层管质量

双层循环是理解 Harness 的核心模型。它不要求两个 Agent 或两个独立进程:外层把较大的任务分解、追踪、验收;内层处理某项具体任务的执行与纠错。

循环 步骤 解决的问题
外层 PDCA Plan 计划 → Do 执行 → Check 检查 → Act 改进 大任务有哪些步骤、当前做到哪里、是否调整计划
内层操控循环 Guides 前馈 → Action 行动 → Sensors 反馈 → Steer 调整 单项任务如何做、结果是否达标、发现问题后怎样修正

外层 PDCA 与内层操控循环

以整理一组学习资料为例,外层先确定阅读范围和文章结构,追踪每篇资料是否处理完毕,最后检查整篇文章是否覆盖核心知识。内层处理“读完一篇资料并写成笔记”:先给原文和写作要求,读取并整理,回原文核对定义和例子,发现遗漏后补写。内层通过检查,外层才能把这一项标记为完成。

PDCA 常被称为“戴明环”,但它与休哈特的质量改进思想及后续日本质量管理实践有关;戴明本人后来更强调 PDSA(Plan-Do-Study-Act)。这里重要的是理解它如何管理任务,而不是把名称误当作发明者归属。参见戴明研究所的说明。

操控循环的四步

  1. 前馈控制(Feedforward / Guides):行动之前提供目标、参考资料、约束与做法。例如规定“先读原始资料,再写重点与个人理解”。
  2. 行动(Action):读 PDF、调用工具、写文件等。
  3. 反馈控制(Feedback / Sensors):行动之后取得可观察的证据。例如核对原文、检查图片链接。
  4. 调整(Steer):根据反馈决定补资料、修改、重试、求助或结束。

只有反馈控制,Agent 可能会重复犯同一个错误;而只有前馈控制,Agent 则会过于草率地结束任务。

从 Agent 内部看,ReAct 强调“推理 → 行动 → 观察”;在观察后加入结果检查与调整,就能把它理解为“推理 → 行动 → 观察 → 自我纠正”的循环。这里的“自我纠正”要有可信的观察来源,不能只让模型再说一遍“我检查过了”。文件是否存在、链接是否可访问、构建是否报错,都可以交给工具提供证据;文章解释是否准确,还需要对照原始资料。参见ReAct 原论文。

Steer 解决的是本次任务怎样继续。
如果某种前馈与反馈方法反复有效,可以把它固化为 Skill,让下次任务复用。这就是“用 Skill 封装和分发 Harness”的含义:复用的不只是一次工具调用,还包括任务步骤和检查方法。有些系统还能自动从执行经验中提炼技能,甚至把可形式化的步骤固化为代码;但“自动学习并改写 Skill”是额外实现的能力,不是 Agent 默认具备的功能。

两层循环等于多 Agent 吗?

不等于。 比如电商需求只涉及类目域时,一个 Agent 可能就能完成;涉及类目、品牌、商品多个业务域时,外层需要追踪跨域进度,但也不一定要启动三个 Agent。任务是否需要分解和追踪,决定是否需要外层循环;子任务是否适合独立执行和验收,才影响要不要让多个 Agent 分工。一个 Agent 也可以同时执行外层计划与内层检查。

推断型控制与计算型控制

内层检查可以由模型做语义判断,也可以由程序执行确定规则。前者是推断型控制,例如判断文章是否准确表达一个概念;后者是计算型控制,例如检查图片链接能否访问、文件是否存在。模型可以选择调用一个确定性的检查工具,但它选择的时机和参数仍可能出错,所以“有工具调用”不等于整个任务变成确定性执行。

三、怎样落地:四个子系统

双层循环告诉我怎样组织工作,四个子系统则回答工作所需的信息和能力放在哪里。很多场景可以复用现成 Agent 的内部执行循环,把精力放在具体任务的指令、工具、环境与状态上。对我的博客流程,先明确读哪些材料、怎样整理、如何检查、结果放在哪里,比从零实现一个 Agent Loop 更直接。

子系统 主要职责 博客学习场景中的例子
指令(Instructions) 规定目标、边界、步骤与验收标准 阅读范围、文章结构、概念核对要求
工具与技能(Tools & Skills) 提供行动、观察能力和可复用流程 PDF 读取、文件编辑、PicGo 上传、Hexo 构建;单篇笔记流程
环境(Environment) 提供工具运行所需的条件 路径、依赖版本、网络、文件权限、PicGo 配置
状态(State) 保存进度、结果和中间产物 已读资料、疑问、草稿、图片链接、构建结果

1. 指令:要求与检查标准

指令可以写在提示词、项目规则或技能文档中。它既包含前馈,也可以写下反馈的标准,但写下标准不等于已经完成检查。例如“文章包含两张图”是验收条件;检查 Markdown 中的两条链接、确认远端图片能打开,才算执行了反馈。

AGENTS.md 可以承载项目级规则,形成比单次对话更稳定的工作依据。但它不是权限系统本身:文件是否被加载、遇到冲突时如何排序,由具体 Agent 产品决定;真正必须保证的边界,还应通过工具权限、程序校验或人工审批实现。这样理解“Agent 宪法”,就不会把一份 Markdown 文件误认为绝对可靠的硬约束。

2. 工具与技能:能力与方法

工具是可调用的动作或观察接口,例如读文件、调用 API、检查构建输出。技能(Skill)则把完成某类任务所需的说明、步骤、参考材料和必要脚本组织起来。工具可以通过 MCP 暴露,但“工具 = MCP、技能 = 工具调用顺序”并不准确:MCP 是连接能力的协议,不是工具的唯一实现方式;Skill 也不只是固定的调用顺序。

例如,PDF 解析器是工具;“读一篇资料 → 提炼概念 → 写出疑问 → 对照原文 → 更新博客”是一套可复用的方法。Skill 可以把这套方法沉淀下来,成为下一次任务的前馈。把这次的修正写成 Skill 属于跨任务积累经验,与本次执行中的 Steer 不是同一个动作。

3. 环境:执行条件也影响检查结果

我原本把环境理解为 lib 或 JVM,这只覆盖了一部分。软件版本、依赖、文件位置、网络和权限,都会改变工具能否运行。尤其是测试和构建作为反馈时,环境不一致会使结果失去可比性。我的博客流程需要确认 Hexo 项目、PicGo 上传配置及图片远端链接;若它们变化,应先排查环境,再判断是不是内容写错了。

4. 状态:让下一轮有依据

状态既可以是 Markdown 或 JSON 文件,也可以存入数据库。它记录“已经做了什么、结果怎样、还有什么没解决”,供下一轮读取。状态本身不负责决策,Agent 根据指令和当前状态决定下一步。只有聊天记录里说“这篇资料已读完”而没有可读取的学习进度,换一次会话就可能丢失这个信息。

四、怎样稳定:六项实践

四个子系统搭起来后,还需要检查它们是否稳定。以下六项原则,可以当作设计清单:

原则 解决的问题 做法与例子
双层循环模型 大任务进度与单项任务质量混在一起 用阅读计划追踪资料,对每篇笔记单独核对内容与格式
仓库即规范 要求散落在多次对话中,前后不一致 在仓库中保存文章规范、资料索引和进度,让后续任务从文件读取
渐进式信息披露 无关资料占用上下文、分散注意力 入口只放核心规则与路径,处理某篇资料时再加载对应 PDF 和笔记
分离计算型与推断型 让模型做精确检查,或让代码硬判语义 链接状态和构建结果交工具,概念解释和口吻交模型并由我复核
最小干预 人反复承担可自动化的检查 自动检查图片、格式与构建,把人的精力留给内容判断
可复现性优先 环境变化导致同一流程时好时坏 固定依赖与构建步骤,记录工具配置和图片来源

这六项不是六个新组件,而是针对四个子系统和双层循环的设计原则。其中有几处需要特别区分:

  • 仓库即规范:对项目规则、过程状态而言,仓库可以作为主要事实来源;外部新资料仍要回到原始来源核查,不能因为写进仓库就默认永远正确。
  • 渐进式披露:上下文容量有限时,入口提供索引、细节按需加载,避免无关材料挤占窗口;即使窗口还装得下,也要只加载当前任务所需的材料,减少注意力分散。关键约束在执行中仍需复核。
  • 计算型与推断型:确定的规则尽量用程序验证,语义问题交给模型与人。有一种经验性分工是让代码覆盖约 60%-70% 可形式化的检查,模型处理其余需要语义理解的部分;它不是所有任务通用的指标。工具的检查逻辑可以确定,但模型选择何时调用工具、外部服务返回什么,不一定确定。
  • 最小干预:如果每次都由我通读结果、指出错误,我实际上成了系统的 Sensor。更合适的做法是让内层循环自动处理重复、可预测的检查。目标是否合理、文章是否忠实表达我的理解、是否发布,仍需要人的判断。
  • 可复现性优先:像 requirements.txt、setup.sh 这样的依赖与环境说明,可以让检查在一致条件下运行。换一台机器后结果变差,也应排查环境漂移,而不只是修改提示词。

五、怎样重构:从坏味道找到缺失的机制

前面的双层循环、四个子系统和六项实践,回答的是 Harness 应该怎样设计。实际使用时,我更需要一个反向入口:Agent 的结果出了问题,应该改哪里? “坏味道”就是反复出现的失败迹象;重构不是换一个更长的提示词,而是把缺失的约束、决策依据、信息更新和验收机制补到系统里。

坏味道 我能观察到的迹象 主要缺口 对应的重构
需求模糊 Agent 反问;成果看起来对、用起来不对;验收时总要说“我不是这个意思” 目标、完成条件和例外没有说清 提取结构化指令文件
隐式约定 大方向正确,实现方式却反复违反项目惯例 决策时的优先级和历史原因只在人的脑子里 建立原则文档与决策记录
信息散落 Agent 严格依据仓库文档执行,结果却与当前事实冲突 文档没有跟外部来源同步 管理知识依赖
虚假胜利 交付很快、格式完整,却漏掉难处理的部分,还宣称全部完成 执行者自己判断自己是否做完 分离执行与验证

1. 需求模糊:把“我要什么”写成可执行要求

“帮我做一个背单词系统”看似有目标,其实没有说明学习节奏、练习方式、复习机制和验收标准。Agent 只能拿通用方案补空白。这里的重构手法是提取指令文件:把零散对话中会反复使用的要求整理出来,放进项目指令,而不是寄希望于模型每次都猜中。

指令至少回答三个问题:正常情况下怎么做,什么证据表明做完了,遇到例外怎么办。 例如,四周学习 200 个词、每天安排 10 个新词,是正常流程;三个练习项目达到预设掌握率、到期复习项清零,是完成条件;连续答错时减少新词配额,是边界情况。这里的数字只是案例配置,不是普适的学习规律。

我的理解是,重构前先让 Agent 列出它已理解的约束、完成条件和待澄清问题,再由我逐项核对。它提出的补充只算候选项;真正的需求仍由我确认。这样做也能发现“我以为说过,实际上只在心里想过”的条件。

2. 隐式约定:把“冲突时选什么”写成原则

需求清楚以后,结果仍可能不符合项目做法。比如要求实现一个功能,Agent 直接访问数据库;团队实际上为了数据一致性,规定这个模块只能通过服务接口访问。此时不是目标不清,而是解决问题时的权衡没有显式记录。

课程建议把决策依据分层保存:AGENTS.md 做入口,指向项目原则;原则文档写明通用要求和原因;模块级 ADR 记录当时的上下文、决策、代价与影响。规则清单告诉 Agent “怎么做”,原则还要解释“性能与一致性冲突时,为什么此处选一致性”。我认为这个“为什么”很重要:当项目条件改变时,才能重新评估旧决定,而不是机械照搬。

不过,文档里的“红线”和优先级是项目的预期决策规则,不自动成为技术上的硬约束。实际指令如何排序,仍取决于所用 Agent 系统;权限、安全和数据保护等要求,还要用工具权限、程序校验及必要的人工审批落实。AGENTS.md 也不能单方面覆盖用户当次的明确要求。

3. 信息散落:让仓库知识知道自己从哪里来

“仓库即规范”解决了 Agent 到处找资料的问题,但仓库中的内容可能来自会议、Wiki、接口文档等外部来源。外部事实变了,仓库却没更新,Agent 就会准确执行一份过时的规范。这比单纯没有资料更难发现。

重构方法是管理知识依赖:为重要文档记录原始来源、负责人或获取方式、核对时机与最近核对结果。来源稳定且数量少,可以用 SOURCE.md 维护映射,按计划或变更事件检查;来源没有固定地址,就在工作流程中加入向人确认的步骤。自动同步是可选实现,但对比出差异后仍要判断新内容是否可信、是否影响已有规则,不能把“拉到了新版本”当成“内容已核实”。

放到我的博客里,课程 PDF 是课程观点的来源,个人笔记记录我的理解,正式文章是面向读者的整理稿。原文更新或我修正理解后,应能追溯并更新对应段落。仓库可以是当前写作规范和进度的主要来源,但不能替代课程原文以及其他外部事实来源。

4. 虚假胜利:让完成判断离开执行者

最后一种坏味道是:Agent 处理了容易的部分,漏掉难的部分,却自信地说“完成了”。给它写上完成条件仍可能不够,因为执行者也可能带着同一盲点检查自己的产出。课程给出的重构手法是分离执行与验证。

具体做法可以分三步:先把完成条件改成可检查的指标;执行时记录原始进度,例如总数、已处理项、跳过项和原因;再让独立的验证者对照任务清单检查。计数、文件存在性、构建结果等确定性条件适合脚本;解释是否准确、文章是否有助于理解,则需要对照原文并由人或独立评审判断。验证者可以是脚本、另一位审阅者,也可以是拥有独立上下文和证据的另一个 Agent。

这里还有一个边界:验证通过,只表示预先写下并实际检查的条件通过了。 如果进度文件由执行者随意填写,或者脚本只检查条数、不检查内容,仍可能出现漏项和错项。因此,最好从原始任务清单与实际产物交叉核对,必要时抽查内容。另外,“今天的学习会话结束”和“整个四周学习目标完成”是两种不同的完成判断,不应共用一个只在总掌握率达标时才会通过的检查条件。

对我这篇博客,执行者可以写出四个主题的段落;验证者还需要核对四份原文是否都被覆盖、概念是否对应、图片链接是否可用、Hexo 是否能正常生成。构建通过证明页面可生成,却不能证明内容理解正确。把完成声明建立在可追溯的证据上,才是真正闭合了反馈循环。

六、从运行机制到可用系统

前面的双层循环、四个子系统和坏味道,已经能解释 Agent 为什么需要 Harness。面试题进一步追问的是:循环真正跑起来后,工具失败、上下文变长、多人协作以及安全与成本该怎么处理? 这些内容并非都来自前述课程,我把它们作为工程延伸,接到原有框架中理解。

延伸知识 对应的原有位置 要解决的实际问题
Function Calling、MCP、Skill 工具与技能 模型如何提出动作,能力如何接入,方法如何复用
Checkpoint、长期记忆、RAG 状态与知识来源 中断后如何恢复,跨任务知道什么,怎样回到证据
多 Agent、评测与回归 执行循环与反馈 如何分工,以及怎样证明结果真的改进
Prompt 注入、权限与成本 环境与运行边界 外部材料能否影响行动,任务何时必须停止

1. 工具调用:提出动作与执行动作是两回事

Function Calling 让模型按工具描述和参数结构提出调用请求;执行器仍要检查参数、权限和业务条件,再真正调用工具,并把结果送回模型。MCP 解决的是能力连接问题:Host 承载任务,Client 与 Server 通信,Server 可以提供工具、资源和提示模板。Skill 则沉淀一类任务的做法。这三层分别回答“模型怎样提出动作”“能力怎样接进来”“任务通常怎样完成”,并不互相替代。

工具的失败语义也要设计清楚。参数不合法、没有查到结果、权限拒绝、调用超时,对应的下一步并不相同。尤其是超时后的写操作,可能已经成功,也可能根本没有执行。幂等指重复执行同一动作不会产生额外副作用;对发布、提交或付款等操作,需要通过幂等键、查询外部状态或版本检查落实。把这些情况都交给模型“再试一次”,很容易把一次故障扩大成重复操作。

2. 状态与知识:保存进度,也保留证据

Checkpoint 保存一次执行的精确状态,供暂停和恢复;长期记忆保存跨任务仍有用的偏好或知识;RAG 则从外部材料中检索当前问题需要的证据。三者的对象不同。对博客来说,“文章写到哪里、哪张图已上传”是任务进度;“图片只存 PicGo 远端链接”是相对稳定的偏好;课程 PDF 的具体观点必须回到原文,不能因为模型曾经总结过就当成事实。

RAG 的基本链路是切片并保留来源位置、检索候选内容、重排相关片段,再依据证据回答。块太小会丢掉定义的前提,块太大又会引入噪声;关键词检索和向量检索也各有擅长的内容。因此要分别验证正确段落是否被找回和答案是否忠实于段落。若找不到可靠证据,应说明检索范围和未知之处,而不是补出一条似是而非的引用。

3. 协作与评测:分工之后仍要统一验收

多 Agent 适合能独立处理、独立验收的子任务,例如原文核对与页面检查;若步骤高度串行,多一个 Agent 反而增加协调成本。并行时要约定权威状态和写入者,避免两人同时改同一篇文章而互相覆盖。编排者不仅汇总文字,还要处理相互矛盾的结论和未完成项。

评测则分为结果与过程两层。结果看任务是否满足预先写下的完成条件;工具调用轨迹帮助定位失败来自检索、参数、权限、重试还是停止判断。线上失败应保留输入、资料版本、关键工具返回、预期与实际结果,变成回归样本。比如我曾把“第三讲”的资料范围定位错,针对这个错误的回归条件就应是:先确认目录和文件,再开始总结。一次样例修好后,还要在其他任务上检查是否退化。

4. 安全与成本:给循环设置可信边界

网页、PDF 和工具返回是待处理数据,里面即使写着“忽略之前要求”,也不能提升为新的用户指令。Prompt 注入的风险在于模型误把低信任内容当成命令,因此除了写提示词提醒,还应在工具侧限制资源范围、校验参数,并对高后果动作设置独立审批与审计。外部材料可以影响我对事实的判断,不能自行扩大 Agent 的权限。

最后,稳定性还受预算约束。一个系统可以答得正确,但如果反复检索、重试,延迟和成本可能难以接受。我会同时看任务通过率、关键错误、端到端耗时、慢请求以及每个成功任务的总成本。优化也要按瓶颈来:检索慢就调整索引,工具反复失败就改接口反馈,上下文过长就按需加载和压缩状态。不能只为了减少 token,把必要的核对步骤删掉。

总结

这一阶段的主线是:用外层 PDCA 管任务进度,用内层操控循环管单项任务质量,再由四个子系统提供指令、行动能力、运行条件和连续状态。六项实践说明怎样设计这套结构;四种坏味道则让我在出错时知道该修正什么:需求、决策原则、知识来源,还是完成判断。进一步落地时,还要处理工具失败、状态恢复、证据检索、协作冲突、独立评测与权限边界。

回到我自己的博客写作,Harness 的关键不是把提示词写得越来越长,而是让“读原文、提炼重点、核对疑问、检查文件与图片、记录进度”成为一套能再次执行、发现遗漏后能改进的流程。等这套方法在更多材料上跑通后,再把稳定有效的步骤固化为 Skill。

资料

Q&A:Agent 面试问题与我的回答

下面的问题根据牛客网的 Agent 面经和工程题单重新组织,并非逐字记录某场面试。回答以本文的 Harness 视角为主;遇到具体框架或协议时,以文档和版本为准。

一、概念与架构

Q1:Agent 与普通 LLM 问答、固定 Workflow 的区别是什么?

答:在本文讨论的 LLM Agent 中,我用 LLM + Harness 概括它:LLM 负责理解目标,以及难以预先写成规则的推理和决策;Harness 把指令、工具、状态与检查组织起来,将权限、格式、文件是否存在、构建是否通过等可形式化的计算型控制固化为程序。相比普通 LLM 问答,Agent 能根据工具返回的环境信息继续行动,并通过外部检查提高结果的可靠性,但不能因此保证每次回答都正确。

相比固定 Workflow,关键区别是运行时由谁决定下一步。固定 Workflow 的路径主要由工程师预设,即使其中某一步调用了 LLM;Agent 则由 LLM 在既定目标、工具和边界内,根据行动后的观察动态选择路径。LLM 可以推进推理型控制的循环,但完成条件和结果验收不能只靠它自称“做完了”。另外,跨新对话延续进度依赖持久状态;重复执行不产生额外副作用才叫幂等,还需要对写入、发布等动作单独设计,不能由 LLM + Harness 这个公式自动保证。

Q2:一个 Agent 系统有哪些核心部分?

答:我会从决策、执行、状态、验证四条线解释。LLM 根据目标和当前观察推断下一步;执行器组织循环,调用工具,并处理错误、超时和停止条件;指令、外部知识与持久状态分别提供约束、事实和已完成进度;验证器根据可观察的产物判断结果是否满足目标。工具接入和权限边界由 Harness 管理,运行轨迹则让问题可以定位和复盘。

这样拆分比背诵某个框架的组件名更稳妥:最小的 Agent 可以只有一个模型、少量工具和一个执行循环;长任务才需要 checkpoint、长期记忆或多 Agent。LLM + Harness 是职责上的概括,不是说加上框架就自动具备可靠性。以博客写作为例,模型负责解释概念,文件与构建工具负责实际操作,文章清单、来源核对和页面检查负责验收。

Q3:什么任务值得交给 Agent?

答:我先看任务的路径是否可预设。若输入、步骤和异常分支都明确,普通程序或固定 Workflow 通常更容易测试、成本也更稳定;若任务必须边读资料边决定查什么、修改什么、何时停止,Agent 才有价值。第二步看它能否观察真实结果,例如检索来源、读取文件、运行测试,而不是只让模型凭感觉判断成功。第三步看误操作的影响,给写入、删除、发布等动作设置权限和验收边界。

例如批量把固定字段转成另一种格式,适合脚本;整理一组内容不齐、相互矛盾的课程资料,并按缺口追查原文,适合 Agent 参与。面试时我会说明评估依据:同一批任务的完成率、人工复核量、端到端延迟和每个成功任务的成本。任务复杂不等于一定需要 Agent,核心是动态决策能否带来可测量的收益。

二、规划与执行循环

Q4:ReAct 怎样运行?

答:ReAct 的核心是把推理、行动、观察交替进行。模型依据当前目标和已有观察选择一个动作,例如检索文档;Harness 校验并执行工具调用;工具返回的片段、错误或空结果成为下一轮观察;模型据此继续检索、调整答案或停止。模型生成的是调用意图,文件读取、网络请求等动作仍由外部系统完成。

它解决的是“不能只在脑中推断,还要到环境里找证据”的问题,但观察本身也可能不完整或不可信。因此实际实现还要限制轮次与费用、区分工具错误和业务无结果、保存关键状态,并用独立的完成条件验收。比如回答一篇 PDF 的观点,找到一段相关文本只是观察;核对章节和引用位置后,才有依据说这个回答覆盖了问题。ReAct 原论文给出的是基本范式,生产系统仍需这些工程约束。

Q5:ReAct 与 Plan-and-Execute 如何选择?

答:ReAct 偏向走一步、看一步,适合信息不充分且每次工具结果会改变下一步的场景;Plan-and-Execute 先把目标拆成阶段,再逐项执行,适合依赖关系比较稳定的长任务。后者的计划是当前假设,不应被当作无条件执行的清单:遇到资料不存在、步骤失败或用户改目标时,需要重新规划。

我的博客流程可以结合两者:外层计划是“读资料、整理结构、写文章、核对来源、构建与发布”;内层处理某个概念时,用检索或读 PDF 的观察结果决定是否继续查证。选型不是哪个名词更高级,而是比较规划成本、工具调用次数、错误恢复能力与任务完成率。过度逐步探索容易慢且循环;一次性计划过细则容易在早期假设错误后一路执行下去。

Q6:怎样避免 Agent 死循环或过早结束?

答:我会分开设计成功条件、进展判断和资源上限。成功条件来自任务本身,例如指定文件存在、必需章节齐全、构建成功且引用可追溯;进展判断看最近几轮是否新增证据、解决了哪个子问题;资源上限限制步数、时间、token、费用和同类错误的重试次数。三者不能混用:跑满上限是停止原因,不是完成证据。

死循环常见于反复调用同一工具却得到相同结果,或者模型反复改写计划却没有产生新产物。Harness 可以记录动作签名和结果,发现重复失败后要求换查询、换工具或报告阻塞。过早结束则用独立的验收清单防止,例如还有三篇资料未读,就不能因为文章已经“看起来完整”而收工。必要时把无法判断的部分交给人,而不是让 Agent 自行宣布成功。

三、Harness、状态与恢复

Q7:Harness 到底管理什么?

答:Harness 是把模型能力变成可执行流程的外部系统。我会按一次运行的顺序理解它:装配目标、指令与相关上下文;向模型暴露有权限边界的工具;解析模型提出的动作并执行;把真实结果送回循环;保存状态和轨迹;在完成、失败、超限或需要人处理时停止。业务侧还要配置资料来源、任务清单和验收标准。

其中值得强调的是模型负责推断,Harness 负责兑现和约束。比如模型说“图片已上传”,Harness 还需拿到 PicGo 的远端地址,检查 Markdown 只写链接,并确认构建页面能加载。不同框架对 Harness 的命名和覆盖范围可能不同,面试时最好讲清职责、边界和一条真实的执行链路,而不只报组件名。

Q8:长任务怎样保存进度、压缩上下文并在中断后恢复?

答:长任务不能只依赖越来越长的聊天记录。我会给一次运行稳定的任务 ID,并持久化目标、当前计划、已完成步骤、原始产物位置、待解决问题、上次工具调用及其结果。上下文压缩时,保留会影响后续决策的约束与来源,丢弃可重新读取的冗长中间文本;摘要里要区分“已验证的事实”和“尚待核对的判断”。

恢复时先读取 checkpoint,再检查实际文件、远端服务或任务清单,判断中断前最后一个动作究竟有没有生效。因为“调用已发出”不等于“结果已确认”,写入或发布还需要幂等键、版本检查或先查后写,避免重试造成重复副作用。以博客为例,恢复时应核对文章当前内容和构建结果,再决定是否继续编辑或部署;不能仅凭摘要中的“博客已完成”跳过验收。

Q9:Checkpoint 与长期记忆有什么区别?

答:Checkpoint 面向一次运行的连续性,记录某个线程或任务当时的状态,便于中断恢复、回看和必要时回退;长期记忆面向跨任务复用,保存稳定偏好、领域知识或经过筛选的经验。二者生命周期和更新规则不同:某次工具调用的临时参数可能必须进入 checkpoint,却不值得永久记住;用户一直要求博客图片只能放 PicGo 链接,则可以作为后续写作的稳定约束。

以 LangGraph 为例,checkpointer 按 thread 保存执行状态,store 可以保存跨 thread 可读取的数据。但“写到 store”不是记忆质量的保证,还需来源、更新时间、纠错与删除机制。面试时我会补充隔离边界:不同用户的长期记忆不能串用,敏感信息不能因为方便恢复就无期限保存。

四、工具、MCP 与 Skill

Q10:Function Calling 从模型提出调用到得到最终回答,链路是什么?

答:完整链路是:应用把可用工具的名称、用途和参数 schema 交给模型;模型决定是否调用,并返回工具名、参数和调用标识;应用解析结构化参数,执行 schema、权限和业务校验,再调用真实工具;工具结果按调用标识返回模型,模型继续判断或输出最终回答。可能存在连续调用或并行调用,应用要保证每个结果与原调用正确对应。

这里的安全边界在应用侧。schema 约束能减少参数形状错误,却不能证明“删除这个文件”在业务上被授权,也不能保证模型选择了正确工具。工具描述要写清能力、限制、失败语义与副作用;返回值要让模型能区分空结果、调用失败和权限拒绝。对于写入类动作,还要记录调用标识、实际结果和重试策略。我的理解是,Function Calling 解决了“如何提出结构化动作”,并没有替应用完成执行、验收和风险控制。

Q11:MCP Client 怎样发现并调用工具?

答:MCP 把能力提供方和使用方分开。Host 是承载用户任务与模型的应用;Host 为连接到的每个 Server 建立对应的 Client;Server 可以提供 tools、resources 和 prompts。连接建立后,双方按协议协商能力;Client 可列出 Server 提供的工具及其参数描述,Host 再决定哪些能力可暴露给模型。模型选择工具后,由 Host/Client 发出调用,Server 执行并返回结果。

面试时我会进一步区分三个对象:tool 用来执行动作,resource 用来提供可读取的上下文,prompt 是可复用的提示模板。能发现工具不等于应该调用工具,Host 仍需控制可见范围、用户授权和结果处理。stdio 与 HTTP 等传输只改变连接方式,不改变这条职责链。协议字段和初始化细节可能随版本变化,实际实现应以所用版本的规范为准。

Q12:MCP 与 Skill 分别解决什么问题?

答:我用“能力接口”和“任务方法”区分。MCP 规定应用如何发现、调用外部工具,以及读取资源和提示模板;Skill 则说明遇到某类任务时应该如何做,通常由 SKILL.md、参考材料和脚本组成。比如 PicGo 上传或读取 PDF 可以是工具能力;“先核对原文,再写学习笔记,最后构建并检查图片链接”是一套写博客的方法,可以沉淀为 Skill。

它们可以组合,但不是一对一关系。一个 Skill 可以使用本地命令、MCP 工具或两者;一个 MCP Server 可以提供多个能力,被不同 Skill 复用。Skill 文件写了“允许发布”也不代表拥有发布权限,真正的访问控制仍由 Host、工具和运行环境执行。选择时先问缺的是连接能力还是可复用流程,这样不会把所有问题都归结为新增 MCP Server。

Q13:工具参数错误、超时或调用失败怎么办?

答:先把失败分类,处理策略才不会混乱。参数错误应由 schema 与业务规则拦截,返回具体字段及原因,让模型修正一次;权限拒绝不是网络故障,不应通过改写参数绕过;空结果表示调用成功但没有查到内容,可能需要换查询;超时则要判断外部动作是否已经生效。工具结果最好有明确状态、错误码和可读信息,避免把异常文本误当成正常数据。

只读或确认幂等的调用可以有限次重试,并设置退避和总预算。对发邮件、付款、提交代码或部署等有副作用的动作,超时后先查外部状态,或通过幂等键避免重复执行;若结果仍未知,应保留“待确认”状态并交给人处理。这样既能恢复偶发故障,也不会把一次失败扩散成多次真实操作。

五、记忆与 RAG

Q14:短期记忆和长期记忆如何存储、更新、纠错?

答:短期记忆解决“这次任务进行到哪里”,可以由消息历史、当前摘要、checkpoint 和未完成清单组成;长期记忆解决“下次任务还需要知道什么”,例如稳定的写作偏好、项目约定和经过确认的领域知识。它们都不等于把所有聊天原文存进向量库。写入时要判断信息是否可复用、是否得到证实、是否包含敏感内容,并附上来源、时间和适用范围。

召回时按当前任务筛选相关记录,避免把无关旧偏好塞满上下文;使用前还要看是否过期、是否与本次明确要求冲突。纠错不只是补充一条新记录,还要更新或删除旧记录,避免检索时新旧答案同时出现。对我的博客而言,“图片只存远端链接”是较稳定的偏好;“第三讲已读完第几页”则是任务状态,不该混入长期记忆。

Q15:RAG 中怎样切片、召回与重排?

答:我会把 RAG 拆成建索引、检索、生成、评测。建索引时尽量沿标题和自然段切片,必要时设置少量重叠,并保存文档名、章节、页码、版本及访问权限。检索时可结合关键词匹配和向量相似度,再用重排模型挑选与问题最相关的片段;生成时要求回答紧扣证据,给出能回到原文的位置。

切片太小,定义和条件可能被拆开;太大,相关内容会被噪声淹没。关键词检索擅长精确术语,向量检索擅长语义近似,重排则负责对候选结果做更细的相关性判断。但这些环节都不能代替评测:先测正确段落是否被召回,再测答案是否忠实于段落,最后看用户问题是否真正得到解决。我的 PDF 学习场景尤其要保留页码,便于回查,而不是只存一个无法定位的文本块。

Q16:检索不到可靠证据时怎么办?

答:首先不要把一次检索为空直接解释为“资料没有”。我会检查关键词、同义词、实体名称和查询范围,确认相关文件已入索引、版本正确、权限允许访问;必要时用关键词检索、扩展召回或直接回到原文目录。还要看检索片段是否只有结论而缺少前提条件,避免把不完整证据当作完整答案。

若仍找不到,回答应明确区分“我查过的材料范围内没有证据”和“这个事实不存在”。涉及外部时效性知识,可以根据任务权限搜索更新的来源,并标注来源和日期;若只能依据限定资料,就说明证据不足并保留问题。可核查的未知,比编造一个看似完整的引用更有价值。

六、多 Agent 协作

Q17:为什么选择多 Agent,而不是单 Agent 或固定工作流?

答:多 Agent 值得考虑的前提是子任务确实能分开,例如一边核对课程原文,一边检查文章结构,最后由一个编排者合并;或者不同子任务需要不同工具、权限和上下文。并行执行有机会缩短耗时,独立审阅也可能发现单 Agent 的盲点,但额外的通信、上下文复制、结果合并与冲突解决会增加成本。

因此我会先拿单 Agent 或固定工作流做基线,再用同一批任务比较完成率、延迟、token 成本和错误类型。如果任务高度串行,后一步必须等待前一步的发现,那么增加 Agent 可能只会增加协调开销。多 Agent 是架构选择,不是能力越多越可靠的结论。

Q18:多 Agent 的任务怎样分配?

答:任务分配要围绕可独立验收的交付物,而不是把一段提示词平均分给几个人。编排者先识别依赖关系,再给每个 Agent 明确输入资料、目标、允许使用的工具、输出格式、验收条件和超时处理。执行者交付时不仅给结论,还要给证据位置、已做的检查和未解决问题;编排者负责去重、解决冲突并做最终验收。

例如整理博客时,可以让一个角色提炼课程观点,另一个核对概念与引用,最后由主执行者统一口吻并构建页面。但如果两人同时改同一 Markdown 文件,就需要指定唯一写入者或先各自产出补丁,否则很容易互相覆盖。多 Agent 的关键是责任边界和汇总机制,不是角色名称是否丰富。

Q19:共享状态冲突和失败恢复怎样处理?

答:先确定权威状态和写入所有权。并行 Agent 可以读同一份任务清单,但不要默认允许它们直接覆盖同一文件或数据库记录。对共享对象,可用版本号和比较并交换拒绝过期写入,也可以通过事务或单一提交者串行合并。合并时还要处理语义冲突:两份文字都能成功写入,不代表观点彼此兼容。

失败恢复则是另一个问题。Checkpoint 说明执行器保存到哪里,外部系统的实际副作用仍需查询确认;关键动作应记录调用标识、请求参数和返回状态,并设计幂等或补偿流程。比如部署超时,先检查远端提交和公开页面,再决定是否重试。仅凭日志写着“已调用部署”就继续下一步,可能漏部署;盲目再部署又可能产生重复提交。

七、评测、回归与安全

Q20:Agent 的任务成功率怎么定义?

答:成功率的分母应是事先定义的任务集合,分子是经独立验收真正完成的任务数,不能用 Agent 自称“已完成”的次数。先为每项任务写明输入、可用资料、允许的动作与完成标准,再确定判定方式:文件存在和测试通过可由程序判断;概念解释是否准确、文章是否忠于原文,可能需要人工标注或经过校准的评审。部分完成、超时和需人工接管也要单独记录,不能含混地并入成功。

我还会按任务类型和难度分层,报告置信区间或至少给出样本量,否则“10 次成功 9 次”很难说明真实稳定性。成功率之外应看遗漏率、严重错误率、人工接管率与成本。对于博客任务,“Hexo 构建通过”只是一个子条件;若关键观点写错,整项任务仍不能算通过。

Q21:评测只看最终答案,还是检查工具调用轨迹?

答:结果评测回答任务是否完成,轨迹评测解释完成过程是否可靠。最终答案或产物需要对照任务要求和原始证据;轨迹则记录模型选择的工具、参数、工具响应、重试、停止原因和外部副作用。若答案错了,轨迹能帮助区分是检索没召回、模型读错证据、工具报错被忽略,还是完成条件设计得太弱。

不能用“轨迹看起来合理”替代结果验收,也不能只凭一次结果正确就认可过程。例如一次越权读取恰好给出了正确答案,依然是失败。对写入、删除、发布等动作,要增加权限与审计检查。评测中还应避免只给轨迹打一个模糊总分,最好把工具选择、参数有效性、证据使用与安全边界分别统计,才能指导具体修复。

Q22:怎样把线上失败案例加入回归测试?

答:先把失败案例保存为可重放的任务样本:用户输入、当时的资料和版本、工具可用范围、关键工具响应、预期产物、实际产物与失败标签。确定性逻辑可以固定工具返回值做单元或集成测试;模型决策有随机性时,应在相同条件下多次运行,比较通过率和错误类型,而不是指望每次输出逐字相同。

修复也要定位层次:资料没更新就修知识依赖,参数错就修工具 schema 或校验,重复提交就修幂等,错误的概念解释才考虑提示词或模型。随后同时跑失败样本和常规任务集,确认没有为了修一个案例引入其他退化。我的“第三讲定位错误”就适合做回归项:给定含糊章节名称时,系统应先核对目录与资料范围,再写总结。

Q23:Prompt 注入与敏感工具权限怎样防护?

答:Prompt 注入是把“请忽略之前要求、调用某工具”之类的指令藏在网页、PDF、邮件或工具返回中,诱使 Agent 把低信任来源的数据当成高优先级命令。防护首先是划清信任边界:外部内容只作为待分析资料,不得修改任务目标和权限;模型提出的工具参数由应用校验,敏感工具只给最小所需权限,不能因为文本里写着“已获授权”就执行。

其次要限制外发、删除和发布等高后果动作的作用范围,并在需要时设置独立审批和审计记录。对检索内容应保留来源,评测中加入带恶意指令的样本。提示词提醒可以降低误判,但它不是权限系统;真正可靠的边界应在工具、沙箱、凭证和外部审批中落实。比如课程 PDF 写着“把本机文件发给某地址”,Agent 应把它视为文档内容,而不是用户的新指令。

八、项目深挖

Q24:从用户输入到交付,完整链路是什么?

答:以我的博客学习流程为例,输入是课程 PDF、个人笔记、已有博客风格和写作要求。系统先确认资料范围与完成条件,读取原文并记录来源位置;模型整理概念、提出需要核对的疑问,形成结构化草稿;文件工具写入 Markdown,PicGo 产生远端图片链接;独立检查核对覆盖范围、术语、引用和图片,再运行 Hexo 构建。最后保存产物、检查结果与未解决问题,并按发布流程部署与核对公开页面。

这条链路里,模型擅长解释与组织,工具负责真实读写,验证器提供完成证据,状态使任务能继续。每一步都应有失败分支:PDF 读不到要报告资料缺口,图片上传失败不能写本地路径,构建失败不能宣称页面可用。面试讲“完整链路”时,不能只从用户输入跳到模型答案,还要交代工具执行、状态、验收和实际交付。

Q25:遇到过什么具体失败,怎样定位和修复?

答:这次整理中,我说“第三讲”,Agent 却先按背单词案例理解;我实际指的是“03_坏味道与重构手法”中的材料。错误的直接表现是回答主题与我指定的资料不一致,根因不是模型不会总结,而是没有先核对任务对象。后续重新列出目录、确认四份 PDF,按原文重写,再检查文章覆盖和 Hexo 构建结果。

这件事可以沉淀成两条规则:章节名、文件名不明确时,先确认资料路径与数量;交付前按原始清单逐项核对,而不是只看文章是否通顺。它也说明“结果很像正确答案”并不可靠,因为源材料错了,后面的写作质量再好也无用。若面试官追问指标,我只能给出可核查的目录、文件和构建记录,不会编造准确率提升多少。

Q26:为什么选这个模型、框架和工具?

答:模型选型先看任务能力,例如长文理解、工具调用稳定性、中文表达和对来源的忠实程度,再看延迟、价格、数据要求及可用性。用相同任务集比较候选模型的实际完成率和人工修正量,不能只看公开榜单。复杂推理可以交给能力更强的模型;分类、格式转换或确定性校验,若规则明确则优先用代码,必要时用较小模型处理低风险环节。

框架选型要看它是否解决了现有痛点:执行循环、checkpoint、观测、审批或多 Agent 编排。如果现有流程只有少量顺序步骤,引入重框架可能增加复杂度。工具则按数据来源、权限边界与错误语义选,优先复用可验证的现有接口。面试时我会展示同一批任务下的对比依据,并坦承哪些选择只是当前环境下的权衡,而不是“这个模型或框架永远最好”。

Q27:怎样衡量效果、延迟和 token 成本?

答:我会按质量、时延、成本同时看。质量包括独立验收的任务通过率、关键事实错误、遗漏和人工接管;时延至少记录端到端耗时及 P50、P95,拆出模型推理、检索、外部工具和人工审批各阶段;成本除了输入、输出 token,还要算检索、工具、重复运行和人工复核。一个更有意义的指标是“每个成功任务的总成本”,因为便宜但失败率高的方案会反复重做。

优化时先定位瓶颈:检索慢就检查索引和召回范围,模型反复试错就看工具描述与反馈,长上下文费用高就做按需加载和状态压缩。每次调整都要用固定任务集回归,防止省了 token 却漏掉关键证据。最终追求的是在错误风险和时延约束下取得稳定交付,而不是孤立地压低某一个数字。

这组回答核对了 Anthropic 的 Agent 设计说明、ReAct 原论文、OpenAI Function Calling 文档、MCP 规范、Agent Skills 规范、LangGraph 状态持久化文档、Anthropic 的检索实践、OpenAI Agent 评测文档和工具审批文档。