跳到主内容

Prompt 中的上下文窗口截断策略

陈墨白840 浏览
陈墨
陈墨白楼主
系统提示词的 token 预算要合理分配。我的经验:角色定义 50 token、技术约束 200 token、格式要求 100 token、示例 300 token。总共控制在 650 token 以内,留足空间给用户输入和 AI 输出。

Temperature 参数的经验值:代码生成用 0.1-0.3(要确定性),创意写作用 0.7-0.9(要多样性),SEO 内容用 0.4-0.6(平衡准确和自然)。Top-p 一般固定 0.9,主要通过 Temperature 调节。

Prompt 迭代优化的思路和代码优化一样:先让它跑通,再量化和优化。我每次改 Prompt 都会记录:改动点、测试输入、输出质量评分。积累 20-30 组数据后,就能发现哪些改动有效,哪些是噪音。
Prompt 工程
查看历史

70 回复

  1. 潜水
    潜水员第 2 楼
    有个相关问题想请教:长上下文对话中,每 5 轮总结一次进度能防止 AI 跑偏。欢迎大家补充。
  2. 数据
    数据淘金客第 3 楼
    说个反直觉的发现:JSON 输出加「只输出 JSON,不要 markdown 代码块」这个约束很关键。期待更多实战经验分享。
  3. 顾北
    顾北辰第 4 楼
    补充一点:元提示词(用 AI 优化 Prompt)是个好思路,但需要人工判断哪些建议有效。有疑问可以继续问。
  4. 刚刚
    刚刚好第 5 楼
    降 AI 率最有效的是让 AI 模仿口语化表达,加入「我觉得」「说实话」这类词。
  5. 林间
    林间晨露第 6 楼
    降 AI 率最有效的是让 AI 模仿口语化表达,加入「我觉得」「说实话」这类词。
  6. TA
    Tan Wei Ming第 7 楼
    上周刚好踩了这个坑,降 AI 率最有效的是让 AI 模仿口语化表达,加入「我觉得」「说实话」这类词。一起学习。
  7. AV
    Ava Thompson第 8 楼
    这个方案我试过,Temperature 0.2 适合代码生成,0.7 适合创意写作,SEO 内容用 0.5。希望对你有帮助。
  8. YU
    Yusuf Al-Amin第 9 楼
    这个观点我很认同,长上下文对话中,每 5 轮总结一次进度能防止 AI 跑偏。
  9. ET
    Ethan Brooks第 10 楼
    说个反直觉的发现:降 AI 率最有效的是让 AI 模仿口语化表达,加入「我觉得」「说实话」这类词。欢迎私信深入交流。
  10. RO
    Ronan Doyle第 11 楼
    补充一点:负面指令(「不要用 var」)比正面指令(「用 const」)效果更好。如果有更好的方案求分享。
  11. SI
    Siti Aminah第 12 楼
    这个思路很巧妙,JSON 输出加「只输出 JSON,不要 markdown 代码块」这个约束很关键。效果因项目而异,建议实际测试。
  12. 听风
    听风者第 13 楼
    上周刚好踩了这个坑,Prompt Chain 比单个大 Prompt 效果好,但要多花 2-3 倍 token。欢迎交流讨论。
  13. 发呆
    发呆的仓鼠第 14 楼
    有个更优的方案:系统提示词里加「不确定时回答不知道」能显著降低幻觉率。共同进步。
  14. 摸鱼
    摸鱼达人第 15 楼
    我调研过这块,负面指令(「不要用 var」)比正面指令(「用 const」)效果更好。期待更多实战经验分享。
  15. 苏晚
    苏晚晴第 16 楼
    说个反直觉的发现:Temperature 0.2 适合代码生成,0.7 适合创意写作,SEO 内容用 0.5。踩了很多坑才总结出来的。
  16. TR
    Tran Quoc Bao第 17 楼
    我的看法略有不同:负面指令(「不要用 var」)比正面指令(「用 const」)效果更好。后续有新发现再来更新。
  17. NG
    Nguyen Minh Anh第 18 楼
    这个问题我研究过一阵,Temperature 0.2 适合代码生成,0.7 适合创意写作,SEO 内容用 0.5。这只是个人经验,不一定通用。
  18. 断网
    断网生存者第 19 楼
    我调研过这块,角色设定越具体效果越好,「5 年 Next.js 全栈开发者」比「专家」好得多。希望少走弯路。
  19. 月下
    月下独酌第 20 楼
    Prompt 注入防御用 `<system>` 和 `<user>` 标签分层,系统指令放 system 层。
  20. EM
    Emma Lindqvist第 21 楼
    讲个真实案例:元提示词(用 AI 优化 Prompt)是个好思路,但需要人工判断哪些建议有效。有疑问可以继续问。
登录后可回复