理解AI Evals：古法产品经理的埋点分析
如题，假期在看lenny‘s podcast时产生的一个想法
原章节大概讲的是“1st step of AI evals is about data science, which called error analysis “

可以结合图2看
1. 传统产品：通过埋点分析用户行为
- 定义北极星指标—v1.0产品设计—设计埋点（观察用户行为）—观察埋点—总结原因迭代产品—继续观察
- 比如电商的浏览、搜索、点击、加购、支付，通过设计埋点的拓展字段信息可以收集用户在每个环节的卡点，如耗时、操作结果等等，以分析每个环节的漏斗转化及没有达成的原因。这个过程类似一场沉默的数据化用户访谈，产品经理从what反推why

2. AI产品：通过trace分析ai行为
- 定义成功标准—v1.0 Agent设计—设计traces（观察ai行为）—观察traces—总结原因迭代ai—继续观察
- 再以上述电商为例，通过设计traces中ai转写问题结果、工具使用情况等等，以分析ai在漏斗哪一环断裂

3. 总结，AI evals就像从分析用户行为到分析ai行为，引申出来的几点重要能力：
- 观察：能否从现象中发现异常，传统产品是在观察用户行为，AI产品则观察ai系统行为
- 判断：从what中看到why，即了解功能/ai系统为什么会犯错/不符合用户交互
- 抽象：把案例抽象成模式，传统产品总结用户习惯，ai产品总结可自动化评测的规律
- 干预：明白如何迭代产品
- 评估：明白什么是“好”“成功”

中秋快乐！🌕

AI搞学习howto 产品经理 大模型 AI学习笔记 AI产品经理