Hugging Face 社区博客·· 2026-09-22AI 评分73
transformers 支持直接加载 GGUF 量化模型,本地推理性能接近 llama.cpp
Transformers now runs llama.cpp quants
AI 导读
Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型,通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint,并复用 ggml 的 Metal 内核。
来源:Hugging Face 社区博客 · huggingface.co