跳到正文
vLLM 官方博客·· 12 天前精选AI 评分67

蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

AI 导读

蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming,仓库为 github.com/vllm-project/humming。

推荐理由

原文给出统一量化表示加 JIT 编译的内核设计和多项基准数字,读者可以据此评估不同 GPU 上的量化推理方案选择。

来源:vLLM 官方博客 · vllm.ai