第 14 卷 · AI 基础、检索、Agent 与应用评测
本卷的定位与入口
先修:作为学习路线的独立方向,S3 后可进入 Python、数学和模型基础;工具工作流前需掌握 S5 的身份、幂等与恢复,部署前具备 S6 运行基础。Python、向量、概率和模型术语由本卷讲解。
本卷按起步、原理、工程和进阶分层;首次进入时按阶段学习路线选取当前需要的章节。
已完成的独立章稿
14.01 Python 与数据工作已完成。它面向 Go 初学者,用完全虚构的 IM JSONL 补齐 Python 对象、函数、异常、UTF-8、字段/权限校验与可复现数据清单。14.02 必要数学与机器学习直觉从人工二维向量进入余弦、条件概率、分类指标、训练/验证和泄漏。14.03 语言模型基础分清 UTF-8 字节、token、模型向量、上下文与生成文字和 IM 业务事实。14.09 评测与数据工程先建立虚构问题、资料权限和关键词基线,再为学完 RAG 后的组件/端到端评测留第二遍。14.04 Transformer 与推理路径用可手算注意力和 KV 缓存估算连接模型机制与业务权限。14.05 提示与结构化输出从指令与示例走到 JSON 契约、分层校验和安全回退。14.06 检索与索引从切分、倒排/BM25 到向量、ANN、融合和权限过滤。14.07 RAG 完整链路把有权候选接成证据充分性、生成、逐句引用和拒答链。14.08 工具、工作流与 Agent从读写工具、审批、预算到检查点和未知结果。14.10 优化与部署按有权正确任务衡量模型路由、批量、缓存、流式与过载。14.11 微调与多模态选修先辨是否需要训练/媒体,再讲 LoRA、量化与图文权限。14.12 可持续交付把版本、灰度、反馈、回滚和 R9 误发布事件连成完整交付卡。十二章各含 8 节讲解、22 道分层练习;本卷独立章稿已齐。
本卷实际顺序:14.01–14.03 → 14.09 的数据集与基线起步 → 14.04–14.07 → 回到 14.09 深化组件和端到端评测 → 14.08 工具工作流 → 14.10、14.12。14.11 按需求选修。评测在首次比较方案之前开始,涉及工具副作用时再检查恢复前置;章节编号继续用于稳定定位。
IM 主线中的位置
在虚构会话中提供有访问范围、有证据的资料助手;先评测,再引入工具与有副作用的动作。
主参照与源码入口见 OpenIM 阅读地图。各章区分公开项目事实与虚构教学规则,在具备先修后对照固定源码。
参考材料怎样进入课程
采用经典资料的知识覆盖与递进思路,结合 Go 和虚构 IM 重新组织。下表对应本卷已完成的十二章;按先修选择章节并完成独立变式。
起步层
| 章节 | 要详细讲解的内容 | IM 练习与验收目标 |
|---|---|---|
| 14.01 Python 与数据工作 | 对象、函数、异常、环境、文件、数据校验和可复现记录。 | 用Python整理虚构消息与资料,讲清对象、异常、环境、文件与数据校验。 |
| 14.02 必要数学与机器学习直觉 | 向量、矩阵、相似度、概率、条件概率、训练与验证、过拟合。 | 先手算向量、相似度、概率和错误,再区分训练、验证、未见样本与过拟合。 |
| 14.03 语言模型基础 | token、embedding、序列、预测分布、上下文与生成;训练/推理区别。 | 解释聊天输入怎样形成token和候选输出,区分模型推理与业务事实。 |
原理层
| 章节 | 要详细讲解的内容 | IM 练习与验收目标 |
|---|---|---|
| 14.04 Transformer 与推理路径 | 注意力的直觉、位置、层、采样、prefill/decode、KV cache。 | 用小序列说明注意力与推理阶段,估计长会话上下文和缓存的资源影响。 |
| 14.05 提示与结构化输出 | 指令、示例、上下文、输出模式、失败处理与版本。 | 在固定查询集上比较指令与结构化输出,处理格式失败和版本差异。 |
| 14.06 检索与索引 | 分块、词项、向量、ANN、混合检索、重排和版本元数据。 | 为虚构资料建立词项与向量检索,分别定位召回、排序、权限和过期问题。 |
工程层
| 章节 | 要详细讲解的内容 | IM 练习与验收目标 |
|---|---|---|
| 14.07 RAG 完整链路 | 证据充分性、引用、拒答、数据更新、缓存与权限过滤。 | 让聊天回答逐项对应证据,设计不足时的反馈、引用、更新与访问范围。 |
| 14.08 工具、工作流与 Agent | 状态机、规划、工具契约、权限、批准、预算、checkpoint 和幂等。 | 为聊天工具定义权限、状态、批准、预算、检查点与幂等,推演副作用恢复。 |
| 14.09 评测与数据工程 | 标签、代表性、泄漏、基线、组件与端到端指标、裁判偏差。 | 在首次比较方案前建立数据与基线,再深化组件指标、端到端效果和裁判偏差。 |
进阶层
| 章节 | 要详细讲解的内容 | IM 练习与验收目标 |
|---|---|---|
| 14.10 优化与部署 | 模型选择、批量、缓存、路由、流式输出、限流与观测。 | 按成功任务比较模型、批量、缓存、路由、限流与流式输出的质量和成本。 |
| 14.11 微调与多模态选修 | 数据需求、适用条件、训练成本、量化、图文输入与评测。 | 按具体缺口选择提示、检索、微调或多模态,说明数据、训练和评测前提。 |
| 14.12 可持续交付 | 用户反馈、数据/模型/提示版本、灰度、回滚和故障响应。 | 交付可追溯的聊天资料助手,记录数据/模型/提示版本、灰度、回滚和故障响应。 |
本卷综合任务
从固定文档与查询集发展到聊天中的资料助手,再引入受控工具;记录权限、证据、版本、质量、成本与恢复。
任务由学习者在具备环境时执行。理论推导、参考示例、个人实现和真实运行记录分别保存,故障与反例属于必需部分。
达到的能力
能分辨模型、数据、检索、执行和产品需求的不同失败,并用独立评测决定改进。
用解释、最小实现、失败变式、业务取舍四类证据评审。只有目录、术语定义或参考代码通过,不能直接记为掌握本卷。
本卷章节展开规则
每章从一个明确问题开始,先补齐本章所需定义,再推导机制;至少含一条完整执行过程、一个反例、分层练习、反馈与业务迁移。复杂章节拆成多课,不把整卷知识压成一次速读。
当前编写状态和章节深度要求见课程编写与能力验收。