众力资讯网

实际用了一下DeepSeek V4 Flash 0731,不知道是不是我任务比较

实际用了一下DeepSeek V4 Flash 0731,不知道是不是我任务比较特殊的原因,我觉得体感比Kimi K3差很远,非常远,远远超过跑分体现的差异……

我的体验是:DeepSeek V4 Flash 0731的指令遵循能力远弱于Kimi K3,阅读同一份文档,K3可以很好地遵循文档里的细节要求,而V4 Flash则很容易忽略掉文档里的部分指令

当然,也可能是V4 Flash 0731一定需要搭配DeepSeek尚未发布的,自家的Harness工具

先介绍一下我这边的任务:

我最近在做一个数据处理软件,收集好数据之后,在软件上点击对应的“导出AEP”按钮,就帮我自动填好AE模板。

目前K3已经完成了R23单线程5项数据模板的填写(也就是有五根柱子的柱状图),并且写好文档

我想要看看V4 Flash有没有根据这份文档填好4项与6项模板的能力(5项模板和4项/6项模板唯一的区别就是数据的行距不同,其他均一致)

为什么选择这个任务?我的想法是,K3先踩一遍坑,然后需要扩展的时候,给我省点用量,我换DeepSeek V4 Flash做举一反三的推广

具体的工作流我是写在文档里的:1,学习我司后期已经制作好的aep模板文件2,尝试用两个已经制作好的数据json填模板,填好之后把渲染的东西截图,放到验证帧文件夹下,我人来看3,我确认没问题了,就集成到软件当中

然后问题就来了:1,V4 Flash完全无视了文档中让我先看验证帧的指令,在生成验证帧之后,直接跳过了我的审查阶段,开始合并,我看到之后人为按下esc中止叫停2,第一次检查V4 Flash的验证帧,我发现它只学习了我司后期做好的6项模板,没有看5项和4项模板,随后纠正3,第二次检查V4 Flash的验证帧,它确实把握住了数据之间的距离关系,但直接把表头的名字和说明删了,而第一次检查时,表头和说明都是在的,随后我不得不继续纠正4,第三次检查V4 Flash的验证帧,终于成功,要求合并到主程序,结果只同步了action名,没有同步修改schema.json,导致按钮失效,我要求纠正,V4 Flash信誓旦旦表示没有问题,是我用了旧版程序5,最后还有一个小问题,V4 Flash把输入提示的文字改了,但是提示的条件没有跟着改

我用K3开荒踩坑都不需要那么多次纠正和反复的提示,文档写好之后再度推广基本都是一遍过而现在V4 Flash拿着K3写好的文档,踩好坑的经验,再去走一圈,能走出来这么多问题,我真的感到不可思议

如果DeepSeek的跑分不是刷出来的,那么他们自家的Harness一定是相当有东西的,不然无法解释跑分差异并不大的两个模型实际体验的差异会这么大