CAMP / CAMP-02-02 / 2025-11-09 / TRANSCRIPT→STRUCTURED
Prompt魔法:
一句话让Bot听懂人话
AI智能体训练营 · 2025.11.09
本次会议围绕 AI 智能体训练营第二期第二节课程展开,深入讲解提示词工程的原理、优化方法与实践应用。课程强调从基础的提示词生成到高阶的上下文工程,帮助学员掌握如何通过精心设计提示词来引导大模型按期望输出。
提示词工程四层级方案
- 提示词工程:成本低、易实现,是最常用的优化方式
- RAG(检索式增强生成):效果较好,复杂性高,常与提示词配合使用
- 微调:成本和复杂性较高
- 预训练:成本和复杂性最高,但效果最优
"提示词工程就像咒语召唤阿拉丁神灯的能力——通过精心设计的词汇和结构,引导模型按照你的期望行动。"
— 吕昭波老师
提示词的四大要素
- 指令:明确告诉AI要做什么
- 上下文:提供背景信息和背景知识
- 输入数据:分为系统输入(如生成内容的设置)和用户输入(如具体数据)
- 输出指示:指定输出格式和方式
提升AI效果的八大技巧
- 提供简明扼要的指示
- 充分提供上下文背景信息
- 增加具体的指令约束条件
- 提供响应示例进行引导
- 将复杂任务分解为小步骤
- 采用Markdown格式提升结构化程度
- 反复尝试和创意优化
- 使用链式思维拆分推理过程
0样本与小样本应用:简单场景可使用0提示样本,复杂或特定领域场景需提供示例。如向小朋友解释奇数偶数,通过举例后其能按逻辑推演——这个原理同样适用于提示词设计。
12个精选提示词框架
包括APE(行动-目的-期望)、Brock模型、SCL(背景-输入-输出)、角色能力体验框架等。这些框架在调优过程中按需使用:先让AI生成整体框架,运行后根据结果用不同框架优化。
推荐优化平台
- 火山方舟:可管理提示词,支持评分模式和对比验证
- 百度千帆:提供模板、优化、评估功能,界面直观,评分功能较早推出
- 阿里百炼:拥有多种提示词模板,可作为模板仓库,优化后可用于其他平台
- COZE:平台内直接支持提示词优化和应用
强调批量测试提示词的重要性:复杂场景下需严格判定,根据测试结果选择合适提示词应用到实际项目。
提示词评估方法
- 定量分析:统计相同字数、重复率等自动化指标
- 定性分析:主观评价,通过对比实验验证优化前后效果
- 双重验证:可采用人工打分或AI模型打分两种方式
"去年流行提示词工程,今年是上下文工程。提示词驱动大模型按期望格式输出,上下文工程则集成知识库、历史对话、系统和用户设置等更多工具和数据。"
— 吕昭波老师
上下文工程的高级概念
- 提示词缓存:提升多轮对话的效率,减少重复计算
- 路由分发:根据不同场景智能分配处理流程
- 自洽性检验:让模型生成内容后自我反省优化
- 思维树:模拟模型的思维过程,通过剪枝获得最优输出
- 基础原理提示词工程是开发、设计、优化提示的新兴领域,通过精心设计词汇和结构引导模型行为,成本低、易实现
- 优化策略结合提示词工程与RAG知识库是普通使用者最实用的方案,5-15分钟内即可生成有效提示词
- 框架选择12个精选提示词框架(如APE、SCL等)适用于不同场景,需根据项目需求选择使用,无需强行记忆
- 平台工具火山方舟、百度千帆、阿里百炼等平台提供批量测试和评估功能,支持提示词的生成、优化、验证全流程
- 评估体系定量分析(数据指标)与定性分析(主观评价)相结合,通过对比实验验证提示词优化效果
- 进阶方向从提示词工程向上下文工程演进,需掌握提示词缓存、思维树、链式推理等高级概念
- 作业目标初学者生成80分提示词用于智能体,进阶者达成90分以上,并选用12框架中至少一种进行优化