
从提示词设计,走向可评估的大模型应用
做过知识库问答、文本整理或智能助手的人,往往会遇到同一个问题:一条提示词在演示中表现不错,换一批问题、加几段材料,结果就不稳定了。《大模型提示工程:构建大模型应用的科学与艺术》适合带着这类问题阅读。它把提示工程放进完整的应用流程,讨论输入怎样组织、上下文怎样取舍、模型输出怎样接入后续步骤,以及改动后如何判断效果。
本书原作名为 Prompt Engineering for LLMs,作者为 John Berryman、Albert Ziegler,两人都参与过 GitHub Copilot 早期研发。简体中文版由叶志远、王刚翻译,机械工业出版社于2026年6月出版,ISBN 为9787111810117。版本与完整目录可通过本页上方的出版社书页入口查看。
内容脉络:沿着一次模型调用向外展开
先理解模型,再定义应用中的任务
基础部分从词元、文本生成和对话模型讲起,再进入应用设计与质量评估。阅读时值得反复追问:用户的需求怎样转成模型能处理的输入?生成的文本怎样变成用户真正能用的结果?把这两个转换环节想清楚,通常比反复修改一句指令更有帮助。
把上下文当作需要设计的输入
技术部分围绕提示内容、片段组装、输出控制和模型选择展开,涉及少样本示例、RAG、摘要,以及信息之间的位置和依赖关系。这里最值得带回项目的视角,是逐项检查材料的作用:它是在解释任务、提供证据,还是规定输出格式?当窗口有限或资料互相冲突时,这种拆分能帮助团队讨论删什么、保留什么。
从单次回答延伸到智能体和评估
高级部分继续讨论工具使用、对话上下文、任务工作流,以及离线和在线评估。读者可以对照自己的流程,区分哪些步骤交给模型判断,哪些步骤适合用明确规则完成,再检查错误会怎样影响下一步。章节结构与主题见O’Reilly 原版目录。
适合哪些读者,需要什么基础
- 已经能调用模型接口的开发者:适合用来梳理提示模板、检索材料、结构化输出和测试集之间的关系,逐步改进已有原型。
- 参与AI产品设计的技术产品经理:可以重点阅读任务设计、工作流与评估,帮助需求讨论落到输入、输出和验收标准。
- 负责知识库或自动化流程的人:适合带着真实案例阅读,检查失败究竟来自资料不足、任务边界模糊,还是输出处理不完整。
阅读前最好理解 API、JSON 和基本程序流程;实践部分需要能保存输入输出、修改调用参数并比较结果。没有开发经验也能阅读概念章节,但要把方法落实到应用,仍需要补上编程与接口调用基础。原版官方将其定位在中级到高级读者范围,选书时应按自己的项目经验判断。
与《AI工程》《图解大模型》怎样搭配
下面按学习目标比较三本书,帮助判断先读哪一本。各书内容有交叉,区别主要在阅读重心。
| 比较维度 | 大模型提示工程 | AI工程 | 图解大模型 |
|---|---|---|---|
| 阅读重心 | 输入、上下文与交互流程 | 应用全流程的工程取舍 | 图解概念与多类模型实践 |
| 优先解决的问题 | 如何组织提示并验证改动 | 如何选择、评估和部署方案 | 模型机制和常见用法如何理解 |
| 适合的起点 | 已有简单模型调用或原型 | 开始考虑可靠性、成本与维护 | 希望建立系统概念与技术直觉 |
| 建议配套练习 | 重构一个提示模板和测试集 | 为项目写一份方案比较 | 运行示例并画出数据流 |
如果正在处理“回答为什么忽好忽坏”,可先读本书;如果任务已跑通,下一步是上线、评估和控制成本,可接着读《AI工程》;如果对向量表示、注意力、检索等概念还缺少整体认识,《图解大模型》适合作为并行参考。
建议怎样读,才能留下可复用的方法
- 选一个足够小的任务。例如把产品资料整理成固定字段,先明确输入范围、必填字段和无法判断时的处理方式。
- 保留一组固定样例。除了正常问题,加入缺少信息、材料冲突和超出范围的情况;阅读过程中持续用同一批样例比较方案。
- 每次只改一类因素。分别尝试调整示例、上下文顺序或输出约束,同时记录质量、响应时间与调用开销,避免凭单次回答下结论。
- 把失败案例写成检查项。当工作流变长时,逐步检查检索、生成和后处理环节,让一次修正能被以后复用。
推荐价值与阅读边界
本书适合建立一种更具体的工作习惯:遇到效果问题时,先拆解输入、上下文、模型行为和评价方式,再决定改哪里。对需要反复迭代AI应用的读者,这种分析框架比收藏大量现成提示模板更容易迁移到新任务。
学习时仍要结合当前模型的官方文档。工具调用、结构化输出和推理模型的接口会变化,书中的策略需要在自己的任务上重新验证。提示工程也不能单独保证事实正确、数据安全或业务流程可靠;涉及外部操作的应用,还应设置权限控制、结果校验和必要的人工确认。
相关 图书
权威经典,系统阐述AI原理与技术,理论与实践并重,是AI学习与研究者的必读之作。
智人之上
现象级畅销书《人类简史》尤瓦尔·赫拉利沉淀六年力作;信息网络决定认知,认知决定你能走多远
这就是ChatGPT
OpenAI CEO 山姆·阿尔特曼(Sam Altman)强烈推荐!
AIGC:智能创作时代
探索AI创新前沿,引领智能创作新纪元,变革未来的力量之作。
暂无评论...