HuggingFace官方整理的语料库项目：一份3.65TB的pdf数据集。h

蚁工厂 2025-09-08 08:44:06

Hugging Face官方整理的语料库项目：一份3.65TB的pdf数据集。

huggingface.co/datasets/HuggingFaceFW/finepdfs

项目名为 FinePDFs ，是目前最大的、完全来自PDF的公开可用语料库，包含约3万亿个文本标记，来自1733种语言的4.75亿份文档。换算成token大概 3 万亿个

里面貌似中文语料不多。

0 阅读：3

感谢大家的关注

作者最新文章

1

高质量长篇博文：《深入 vLLM：高吞吐 LLM 推理系统解剖》Inside v

2

前Youtube前端开发者Chris Zacharias 介绍过一个工作中实际发

3

MIT的电子书 “Algorithmic Aspects of Machine

4

前端内参，一份已经更新了6年的前端读物。coffe1891.gitbook.io

5

好活~ 喵语编程！github.com/wixette/meowlang比如如图

6

开源硬件一个开源、低成本、易于构建的电动XYZ微操作器运动控制平台，可实现亚微

7

8

美团的大模型也来了[哆啦A梦吃惊]LongCat-Flash，总参数量达 560

9

Grok 新推出的 Grok Code Fast 1 编码模型，在openrou

10

anthropic官方承认，25日-28日期间，Claude Opus 4.1

热门分类

科技TOP

1

四选一怎么选？旗舰新机一款比一款炸裂打算今年换机的朋友爽了，看了下今年的旗舰是

2

这是iPhone17只看正面时你立马能区分升级的地方：灵动岛变小了

3

8月8日，河南许昌一小伙，在闲鱼上5300买了一台苹果16pro，结果顺丰配发当

4

华为又放大招啦！8月15号，华为Pura80手机处理器，kirin9020惊艳

5

iPhone17系列多给500块，你将获得：1️⃣全新一眼便知新款的外观2️⃣

6

美团退款看了一下最近两笔账单，都退回来了，这种退款还是要确认一遍，有时候还真会忘

7

想买手机的可以等等了，接下来几个月热闹了九月份开始到年底，这段时间是各个手机

8

小米澎湃OS3眼看小米澎湃的发布会要开了，这次升级最核心的就是手机系统，改动确实

9

追觅官宣造车任何一个有过造车经验的传统品牌推出一个新能源品牌我都能想得到，唯独

10

李想称希望和产品分割开其实理想在产品方面已经是非常不错的了，狗蛋身边不少家庭首选

科技最新文章

1

OPPO产品经理Monica今日通过社交平台账号从OPPO公司离职，此前因OP

2

用了两个多星期荣耀X70，我发现了一个缺点，估计会让某些人失望。不少人都是冲着

3

iPhone17系列国行版的电池容量曝光了（靠谱版），具体如下：iPhone

4

又加码了！Magic8升级8000mAh电池！看来是杠上了！小米16系列标准

5

【荣耀彻底杀疯！】Magic8系列这次真的不讲武德——配置堆到天花板，连吐槽

6

能够和小米16相抗衡的国产旗舰，估计也就只有华为Mate80了。小米16已

7

近日，AI圈惊爆一则重大消息：Anthropic发表声明，明确规定但凡由中国

8

一加联名哈苏合作到期了，不续约了，直接用大哥OPPO的自研影像品牌，还有样张，但

9

realmeWatch5，长续航方表，1.97英寸OLED，390*450，

10

荷兰开始慌了ASML总裁的一句话，撕开了全球科技竞争的遮羞布：“不怕中国从