众力资讯网

Karpathy:你用 LLM 的方式,可能从一开始就错了 4 月 3 日,A

Karpathy:你用 LLM 的方式,可能从一开始就错了

4 月 3 日,Andrej Karpathy 发了条推特,4 月 4 日补了一份 GitHub gist,叫《LLM Wiki》。短短一个 Markdown 文件,至今 5000+ star、4000+ fork。

他的观点很直接:大多数人现在用 LLM 处理文档的方式是 RAG,上传一堆文件,每次提问让模型去检索拼接。问题在于,模型每次都在"从零重新发现知识",啥都没积累下来。今天问一遍,明天再问一遍,干的是同样的活。

Karpathy 给的替代方案是 LLM Wiki:你只管丢原始资料进 raw 文件夹,让 LLM 一次性把它"编译"成一份结构化的 Markdown wiki,包含摘要页、实体页、概念页、对照页,自动维护索引和交叉引用。新资料进来,LLM 不是建索引等检索,而是直接更新已有页面、标出矛盾点、强化或修正之前的结论。

他的原话很妙:"Obsidian 是 IDE,LLM 是程序员,wiki 是代码库。"知识在 ingest 那一刻就被编译好,不在 query 那一刻才被现搞。更有意思的是这份 gist 本身——他没开源代码,只开源了"想法"。把它丢给 Claude Code,你自己的 wiki 就长出来了。LLM原理