跳到正文
Hugging Face 社区博客·· 2025-10-27AI 评分65

Hugging Face datasets 流式加载提速:请求减少最高 100 倍,吞吐翻倍

Streaming datasets: 100x More Efficient

AI 导读

Hugging Face 宣布 datasets 库流式加载大幅优化:数据文件解析快 10 倍,启动请求最高减少 100 倍,流式速度最高提升 2 倍,256 并发 worker 下零崩溃。

来源:Hugging Face 社区博客 · huggingface.co