Thinking Machines Lab：官方博客·· 2025-09-10AI 评分74
Thinking Machines Lab 解析 LLM 推理不确定性根源并发布 batch-invariant kernels
Defeating Nondeterminism in LLM Inference
AI 导读
Thinking Machines Lab 发文解释 LLM 推理不确定性的真正原因：并发与浮点非结合性并非元凶，而是推理负载变化导致 batch size 变动，叠加非 batch-invariant 的核所致。
来源：Thinking Machines Lab：官方博客 · thinkingmachines.ai