新闻中心News

HuggingFace 开源 FinePDFs 与 FineVision 数据集

作者：心靈之曲 | 点击: | 来源：心靈之曲

0809
2025

HuggingFace近日发布了两个大规模开源数据集：FinePDFs和FineVision，分别针对语言模型与视觉-语言模型的训练需求，旨在大幅提升开源模型的性能表现。https://huggingface.co/datasets/HuggingFaceFW/finepdfshttps://huggingface.co/datasets/HuggingFaceM4/FineVisionFinePDFs是当前规模最大的公开PDF语料库，完全基于PDF文档构建，涵盖约3万亿token...

hugging face 近日发布了两个大规模开源数据集：finepdfs 和 finevision，分别针对语言模型与视觉-语言模型的训练需求，旨在大幅提升开源模型的性能表现。

https://www./link/6750c0194a5f9ae7194a0ae154b64959
https://www./link/a007685ecc0ccf820b8ac1d6e77f69fd

FinePDFs 是当前规模最大的公开 PDF 语料库，完全基于

PDF 文档构建，涵盖约 3 万亿 tokens，来自 4.75 亿份文件，支持 1733 种语言，总数据量达 3.65TB。

该数据集源自 105 个 CommonCrawl 快照（时间跨度为 2013 年夏季至 2025 年 2 月），经过 datatrove 工具链进行去重、内容过滤及个人身份信息（PII）匿名化处理，并采用 ODC-By 1.0 开放许可证发布。其文档平均长度接近传统 HTML 数据集的两倍，且包含大量超过 10 万字符的长文本样本，特别适合用于增强开源大语言模型的长上下文理解能力。

数据集已按语言和书写系统分类整理，其中 978 种语言包含超过 100 万 tokens，66 种语言达到或超过 10 亿 tokens。

FineVision 则专为视觉-语言模型（VLM）训练打造，融合了来自 200 多个不同来源的数据，包含 1730 万张图像、2430 万个训练样本、8890 万轮多轮对话以及高达 95 亿 tokens 的回答内容，能够支持如 GUI 导航、目标指向、对象计数等新兴能力的训练。

据官方介绍，在 10 项主流基准测试中，使用 FineVision 训练的模型平均性能提升超过 20%，显著增强开源视觉-语言模型的表现。所有数据已转换为 Parquet 格式，总容量约为 4.48TB，支持高效的流式加载，便于大规模分布式训练。

欢迎光临，我们是一家专注中小型企业营销推广服务的公司！

专注企业电商网络营销推广！免费电商SEO诊断，你可信任的网络推广专家

HuggingFace 开源 FinePDFs 与 FineVision 数据集