Hugging Face 社区博客·· 2022-08-17精选AI 评分79
Hugging Face 详解 LLM.int8() 8 位量化在 transformers 中的集成与使用
A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes
AI 导读
Hugging Face 与 bitsandbytes 合作，将 LLM.int8() 8 位矩阵乘法完整集成到 transformers 和 accelerate 库，使 BLOOM-176B 等大模型推理显存占用减半且无性能下降。
推荐理由
文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节，并附基准数据与代码示例。
来源：Hugging Face 社区博客 · huggingface.co