昨天跟一个data scientist同事开了很久的会。最近我在做一个非常复杂的项目,data 本身就是 total monster,量大、来源复杂、加工链路也复杂。我前面用 AI 跑了一些 research,但这个东西不能直接扔给 AI 就算完,它前面要加很多 control conditions,要明确数据源、筛选条件、具体数据是怎么处理的、哪些输入能用、哪些输入不能用。否则 AI 给出来的结果看似完整,实际上很可能从一开始就偏了。
所以我们花了很长时间逐步 review,把问题拆成几个大块:哪一部分可以纯 AI 做,哪一部分必须由人判断,哪一部分需要人和 AI 结合。然后我们又继续 standardize prompt,规定 data source,设定决策标准,让 AI 输出的东西尽可能 consistent,也让后面的人知道每一步为什么这样做。
做完以后,我觉得这其实已经是一个很好的 success story,可以拿出来跟 team 分享。结果对方一开始很有压力,觉得自己还没有 develop 出一个特别完整、特别漂亮的 AI agent,时间也不够,所以现在展示好像不够成熟。
我就直接跟对方说,这个思路反了。成果展示不一定非得是一个完美的、全 AI-generated 的成品。很多时候,更有价值的是你中间那些判断:这个问题为什么复杂?它到底该怎么拆?哪一段适合 AI?哪一段不能交给 AI?哪些地方必须有人做判断?AI 的 limitation 在哪里?prompt 怎么写才不会让结果跑偏?data source 怎么控制才不会把错误放大?这些 decision points 本身就是成果啊。
很多人现在一说 AI,就很容易陷入一种想象:好像只有做出一个完整 agent,或者一个全自动工具,才算是 AI achievement。可现实里,很多真正有价值的 AI work,恰恰发生在你决定“不让 AI 做什么”的时候。你说 yes 的过程重要,你说 no 的过程也重要。能判断边界,能设计流程,能把复杂问题拆成可执行、可验证、可复制的方法,这本身就是专业能力。
后来我很快写了一个文档,把我们实际解决的问题、拆解方法、人工判断点、AI 适用场景、prompt control、data source control、以及 hybrid approach 的 limitation 都写了出来。写完之后结论是:我们现在已经有一个很好的阶段性成果。最终产品可以是下一步,但方法论本身已经值得分享。
很多时候,工作里的价值并不只在“我做出了什么”,也在“我为什么没有这样做”。在复杂问题里,知道什么时候用 AI,和知道什么时候不用 AI,一样重要。