LLM 提示词大于一切:
Agent 产品里,采样参数几乎消失了,只保留在 API 里。
原因很大可能是,无论你怎么去拉平潜在空间的分布,你永远无法得到真正随机的答案,因为它就是右偏的。你要拉 temperature,也只能把整体都一起拉下来。事实上,最后还是 modal seek 的那个峰最大,会得出这个答案。Top P 和 Top K 也是一样。
所以索性,干脆把 2023 年的参数直接在现在的各类 Agent 里取消了。
真正的随机性是通过提示词实现的:
让它走到那个不是寻峰的峰度里面去,给你生成平庸、愚蠢的答案。比如 SSO T:String seed of thought—你直接给大模型一个随机数,让它自己留在上下文中,都比你自己折腾各种参数效果要好。
提示词这个参数的等级高于其他一切参数,无论是 Reasoning Effect,还是 Temperature、Top P、Top K。
虽然大模型永远做不出客观抛硬币这种事情,但它可以通过提示词,在潜在空间中巧妙地实现真实采样本身。
提示词就是采样分布本身!它决定了一切!