做了一份 AI 顶会论文数据集&一份具身智能数据集，有需要的自取~

之前我发过 2023 年和 2024 年的 AI 论文数据集，还挺多人收藏的： https://gao.gs/t/1237157#reply3

现在我又来更新了。

这次我整理了 2025 年 AI 顶会论文数据集，总共 11945 篇，主要内容如下：

在等更新的各位可以自取啦： huggingface.co/datasets/JensCS/top-ml-conference-papers-2025 http://huggingface.co/datasets/JensCS/top-ml-conference-papers-2025

还有 2023—2025 年的具身智能论文数据集，一并奉上。想做跨年份分析或关注机器人、具身智能方向的朋友，也可以一起查看： huggingface.co/datasets/JensCS/embodie…nference-papers-2023-2025 http://huggingface.co/datasets/JensCS/embodie%E2%80%A6nference-papers-2023-2025

我是做科研的，平时也会自己搞点小项目，所以数据集对我们研究 AI 技术发展是很有用的，毕竟技术的前沿，还得看 7 公主们的捣鼓。但是靠我们自己人力手翻肯定是不现实的，我一般都是借助 AI 的力量。

你可以把数据直接交给 Agent ，让它帮你快速筛选论文、梳理一个方向的技术路线，也可以辅助技术选型和写报告综述。平时干活、学习、做技术分享，都能用上。

不过，这些数据集一般都很大，如果硬喂的话，会比较耗 token 。所以，我一般都是结合我自己手搓的一个小工具 Knowhere 来用。简而言之，它是一个 AI-native 的解析器，会把生产环境里的脏文档转成 Agent 直接可用的材料。这个中间件不止是为了识别文件，它会把后续的 chunking 、embedding 一块做了，所以在 Agent 里面使用的时候，能在节省一半 token 的同时获得更好的解析效果。

这些数据集也是用来给 Knowhere 做能力测试的产物。因为论文看起来规整，实际上很难处理。它的双栏排版很容易串行，公式、图表和图注经常在不同位置，还有附录跟实验距离十万八千里。Knowhere 拿到这些论文后，会先解析每篇论文，把正文拆成带章节路径的内容片段；接着重建完整的章节树，让每段内容都知道自己属于方法、实验还是附录；有了这些上下文，再交给模型判断论文类型，提取研究问题、核心创新、方法、基线和实验结果。最后，结构化字段、原文片段和章节树会一起装进数据集。

这样处理的好处是，数据不会变成一堆脱离原文的结论。比如看到“某方法比基线提升了 5%”，还可以沿着章节路径回到原文，确认使用的是什么数据集、实验条件是否一致，以及这个结果来自主实验还是消融实验。

最终得到的 2025 年顶会论文数据集，共收录 11945 篇论文，每篇包含 28 个结构化字段，并保留原文片段和章节层级。

对 Research Agent 来说，这些内容不再只是 11945 份孤立的 PDF ，而是一批可以检索、比较并回到原文核验的研究资料了。

以上就是全部的数据集，使用的工具和制作方法。你也可以根据你所从事的方向，去制作相应领域的数据集。

最后给 Knowhere 这个开源小项目打个广，它最近上线了渐进式解析、视觉解析和 Agent 原生检索功能，也支持 GIF 、WebP 、BMP 、TIFF 、HEIC 等图片格式了，欢迎试用： https://knowhereto.ai/github?utm_source=G站

感谢各位，有问必答。

这个数据处理方式很实用，论文解析加上章节树重建对后续分析帮助很大。

这种结构化解析处理大论文数据集确实能避免信息断层，不过章节树重建会不会在某些复杂排版下出错？

这种大模型处理的论文数据集会不会丢失一些关键的实验细节和上下文信息？毕竟论文里的公式和图表往往包含很多重要信息。