今天要来点人工智能吗？

信息论之父香农（Claude Shannon）在 75 年前估算过，英语大约有 75% 的冗余。也就是说，很多字母或词语并不是信息必需的，因为上下文能帮你预测。

熵的概念：如果考虑句子或短语的长程上下文，英语的熵（信息量）大约只有 每个字母 1 bit 左右。这意味着理论上可以把英语压缩到每字母 1 bit，而不损失信息。

直到最近几十年，才出现能接近这个压缩率的文本编码器。

现代大型语言模型（LLM）预测下一个字符的准确率非常高，以至于它们在压缩英语文本时，常常能做到接近理论极限的压缩。