AI 架构 · 技术问答
每题先看场景,自己讲一遍,再对照参考回答。
按架构环节分组:请求契约、流程编排、工具接入、动态决策、Skill、状态与上下文、多 Agent、知识服务、评测优化。
模型请求与结果契约
1. 区分请求失败的层次
应用请求模型生成会议纪要时,有时收不到响应,有时收到的内容无法解析,有时格式正确但事实有误。你会怎样区分这三类问题,并定位原因?
参考回答
先确认失败层次。连接失败查凭证、端点、模型名、网络和限流;响应返回但解析失败查原始响应及格式;结构正确但内容错误查输入事实、任务约束和业务口径。记录版本、错误与请求标识,避免把配置错误当成模型能力不足。
2. 设计输出结构与写入校验
会议纪要助手需要把模型提取的任务、负责人和截止时间写入待办系统。你会怎样设计输出结构,并在写入前检查格式和业务内容?
参考回答
先按待办系统的需要定义字段,例如任务内容、负责人标识、截止时间、原文依据和待补信息,并约定必填项、类型与未知值。收到结果后,先解析格式,再校验字段与取值,最后核对任务是否有原文依据、负责人是否存在、日期是否与会议内容一致。信息缺失时保留待补状态,正式写入使用通过校验的最终结果。
多步流程编排
3. 判断查询能否并行
问数应用先分别查询本月和上月各区域净额,选出增长金额最大的区域,再查询该区域的渠道和品类构成。哪些步骤能并行,哪些必须等待?你会怎样组织依赖和汇合?
参考回答
选择区域需要的前置查询在没有相互依赖时可以并行;渠道和品类查询都需要所选区域,因此要等待选区结果。取得区域后,两个下钻查询可以并行。依赖按逻辑节点标识表达,程序在执行前绑定上游值;汇总检查全部必要分支已结束且结果可用,并按约定处理失败、重试和缺失。还需限制并发数与查询预算。
工具、执行环境与外部接入
4. 校验工具参数与执行结果
旅游规划助手让模型调用路线查询工具,工具需要城市、起终点和出行方式。怎样减少错误参数,并处理调用超时或返回结果不完整?
参考回答
工具说明写清城市、起终点、出行方式的格式与限制。收到模型调用后,宿主校验工具名、Schema、参数之间的关系和权限;可恢复的参数问题反馈给模型修正,网络超时按策略重试。返回后核对路线是否覆盖指定起终点、所需路段和必要字段,不完整时补取或明确标记缺失。保留实际请求、响应与后续消费记录;有副作用的工具另外处理幂等与结果对账。
5. 管理大量工具候选
企业 Agent 可访问上千个工具,但每个用户只有部分权限,一次任务通常只需要少数工具。你会怎样管理目录、筛选候选并让模型选择?
参考回答
目录可以保存全部工具,但当前任务的候选先按租户、权限和环境过滤。再围绕任务语义选择候选,按需读取完整描述。工具身份、版本和参数由宿主校验。描述质量、选择质量与执行质量分别评价,不能靠把所有工具描述塞进 Prompt 解决规模问题。
6. 区分 Function Calling 与 MCP
旅游规划助手通过 MCP 接入地图服务,并由模型决定何时查询路线。Function Calling 与 MCP 在这条调用链中分别负责什么,应用程序还需要完成哪些工作?
参考回答
Function Calling 表达模型希望调用哪个工具及其参数;MCP 定义 Host 通过 Client 与 Server 交换工具、资源等能力的协议。Host 可以将 MCP 工具转成当前模型可用的调用描述,再执行模型选择。两者可以配合,不能据此认为 MCP 会自动替应用完成意图判断、授权或业务编排。
模型驱动的动态决策
7. 选择固定流程与 Agent 回路
开发科技新闻简报应用时,采集、筛选、摘要和排版步骤基本固定;遇到资料不足时,又可能需要补查。你会怎样划分固定流程与模型决策,何时需要图编排或 Agent 框架?
参考回答
先看变化发生在哪里。路径稳定且有明确依赖时,用固定流程便于检查;需要基于新观测选择动作时,在局部或整体使用 Agent 回路。再比较状态管理、取消、恢复、工具管理、调试、迁移成本与团队维护能力。框架承担了哪些职责要说清楚,不能只比较 API 数量或代码行数。
Skills 与可复用方法
8. 区分方法与操作接口
团队要让 Agent 按统一方法生成调研报告,并调用已有的检索和文件工具。工作方法、命令行接口(CLI)与 MCP 工具应怎样组织,三者能否配合?
参考回答
先看需要提供什么。工作方法与使用指引放进 Skill,真实操作由 CLI 或 MCP 工具提供;同一 Skill 可以指导 Agent 调用 CLI 或 MCP。选择接入方式时考虑运行环境、能力发现、身份与协议成本,执行权限、状态和结果校验由运行程序管理。
9. 验证 Skill 是否改善任务
团队为资料整理任务增加了 Skill,运行记录显示 Agent 读取过它。怎样进一步验证这份 Skill 是否改善了产物,而不只证明它被读取?
参考回答
记录绑定版本、实际读取内容、进入哪次请求、执行了什么工具和最终产物。使用相同任务、模型与预算比较启用前后,检查旧能力回归。方法被读取只证明它进入了上下文;产出有改善还需要结果评价。版本变化或无关上下文也可能影响结果,要控制变量。
状态、上下文与持续工作
10. 控制共享文件的并发修改
两个 Agent 在同一项目中同时修改配置文件,较晚提交的修改可能覆盖另一方结果。你会怎样安排工作区、版本检查与集成验收?
参考回答
先界定资源所有者和修改范围。能独立处理的任务使用隔离工作区或分支,再由明确责任方集成;必须共享时,使用版本前置条件、事务或合适粒度的锁,并检测过期写入。锁只能控制写入时序,无法自动合并语义冲突。集成后需要对照需求、差异和回归结果验收。
11. 压缩上下文时保留关键事实
长任务的历史消息超过上下文预算,需要先做摘要。怎样保留目标、约束和未完成事项,并让后续步骤能够回查原始证据?
参考回答
保留原始记录,当前请求使用经过选择的历史窗口与摘要。摘要优先保留目标、约束、未解决事项、数字、否定、更正和证据引用;较大的工具结果单独保存,必要时按引用读取原始片段。比较压缩前后的事实完整性、下游任务效果和 token 用量,再判断是否值得采用。
12. 处理长期偏好与当次例外
售后助手记录了用户的长期联系偏好,但用户在本次工单提出了临时例外。你会怎样保存两类信息,并决定本轮请求使用哪一项?
参考回答
记录偏好内容、主体、作用域、来源、时间和有效状态。当前任务例外不直接覆盖长期默认,更正要能追溯。读取先按用户和租户隔离,再按本次需要选择;使用时优先处理明确的新要求和冲突。少量结构化偏好可以用普通存储,不必为了“记忆”默认引入向量库。
13. 恢复中断的长任务
Agent 执行多步骤资料整理时服务重启,其中一个外部保存请求已发出,但尚未收到回执。恢复时需要哪些记录,怎样避免重复执行已经成功的操作?
参考回答
恢复点需要任务输入与版本、步骤状态、已确认结果、制品引用、事件位置和未完成动作。恢复前先对账未知结果,避免超时操作已经成功却再次执行。重放时校验版本与依赖,副作用使用幂等键或业务唯一约束;不能只恢复聊天记录就宣布任务恢复。
多 Agent 协作与 ACP
14. 管理独立 Agent 的会话与完成状态
业务应用通过 Agent Client Protocol(ACP)调用一个独立 Agent 处理任务,对方持续返回进展并最终结束一轮交互。调用方需要保存哪些会话信息,又怎样判断业务任务是否完成?
参考回答
外部 Agent 拥有自己的上下文与执行回路,调用方保存精确会话引用,接收进展与停止原因,并继续做业务验收。协议一轮结束不等于业务成果合格。MCP 提供能力接口,ACP 提供驱动 Agent 的会话交互;选型看对外契约,并核验实际支持的恢复、取消与权限能力。
知识服务与核心模块
15. 定位保存后检索不到的问题
AI 笔记产品已提示保存成功,用户随后提问却检索不到这篇笔记。你会沿正文版本、索引状态、召回与回答链路检查哪些证据?
参考回答
先读回正文和版本,确认真实保存;再看该版本索引是否就绪、查询范围是否包含它、目标片段是否进入召回候选。候选里有但没返回,检查候选补齐的原文背景、ReRank 输入上限、排序与裁剪;工具已返回但回答没采用,再看资料是否进入后续模型请求。按这条链逐段核对,避免一开始就改回答 Prompt。
16. 增量更新笔记索引
一篇已建立向量索引的笔记只修改了一个段落。你会怎样判断哪些片段可以复用、哪些需要重算,并防止旧索引任务覆盖新版本状态?
参考回答
对新版本重新切分,与旧片段清单对照。向量输入与配置不变的片段复用,新增或变化的片段重算,删除片段退出当前索引。用于比较的内容指纹(哈希)要包含实际参与向量化的标题、背景和配置。构建结束后核对片段清单并按位置读取原文,再按目标版本和配置标记就绪,避免旧任务把新版本状态覆盖。
17. 修复汇总丢失的条件
长资料按段提取时,每段结果都保留了适用条件,但最终汇总遗漏了例外条款。你会先检查什么,怎样修复,并限制反复修复的成本?
参考回答
先检查必要条件是否确实进入汇总请求;没进入就修输入组装或裁剪,已经进入却丢失就修汇总处理。反馈中给出具体问题、原文依据和应保留的正确内容,修复后更新受影响结果,再对完整产物复审。全过程保留分段覆盖与失败记录,用次数、耗时和无进展上限约束循环。
过程观测、评估与优化
18. 评价最终答案与执行过程
问数应用先拆解问题,再调用 SQL 或 API 查询、计算和汇总,最后生成回答。如果只检查最终回答是否正确,会漏掉哪些问题?你会在哪些位置记录和评价?
参考回答
最终结果决定业务是否完成,过程评价帮助定位问题。问数案例按四类检查:问题拆解与实际执行链路、各节点指令及结果、汇总结果、最终回答;延迟与费用另作运行指标。局部评价以实际输入为条件,另保留对原问的业务判断。正确数字可能来自偶然补偿,失败也可能是上游传播,不能只凭最终答案给各节点猜分。
19. 选择质量、性能与成本指标
AI 笔记助手既要回答问题,也会调用工具保存讨论成果。除了答案正确率,还应怎样评价任务完成、工具执行、等待时间和成本?
参考回答
质量分别看结果正确率、任务完成率、执行过程合格率和工具调用正确率。前三项以正式提交的任务为分母,工具质量以实际调用为分母,无工具调用时不适用。性能记录用户提交到首个模型正文可见的时间,以及到真实终态的总时长;成本逐次汇总调用用量,区分输入、输出与缓存命中的计费口径,重试同样计入,再按计价版本折算费用。评价器先用人工核对样例校准错放与错拒,分项报告质量、延迟和成本。
20. 验证优化是否引起退化
修改检索或汇总策略后,一组失败样例表现变好了。你会怎样设计回归评测,判断其他任务是否退化,并区分真实改进与运行波动?
参考回答
保留版本化回归集和难例集,除本次修改项外,固定数据、规则、模型配置及预算,重新运行全部受影响任务。比较总体、分组和逐题变化,不只比较平均分;有随机性就重复独立运行。确认改进来自哪项变更,保留新增失败,避免只挑成功样本。线上反馈再形成新测试题,并与调参数据分开。
21. 校准模型评价器
应用使用另一个模型检查资料提取结果,但人工复核发现评价器会错放或错拒。你会怎样制定判据、提供证据、校准评价器并约束修复循环?
参考回答
先定义可检查标准,程序能确定的事实由程序检查。评价模型要得到必要证据,并允许“无法判断”;用人工样本校准,记录误判类型。修复循环设置次数、时间和成本上限。评价与执行共享同一个错误前提时可能一起出错,不能靠再增加一个角色就宣称质量有保障。