Thinking Machines Lab 解析 LLM 推理不确定性根源并发布 batch-invariant kernels
Thinking Machines Lab 发文解释 LLM 推理不确定性的真正原因:并发与浮点非结合性并非元凶,而是推理负载变化导致 batch size 变动,叠加非 batch-invariant 的核所致。
Thinking Machines Lab 发文解释 LLM 推理不确定性的真正原因:并发与浮点非结合性并非元凶,而是推理负载变化导致 batch size 变动,叠加非 batch-invariant 的核所致。
Hugging Face 发布教程,介绍如何在 ZeroGPU Spaces 中用 PyTorch ahead-of-time(AoT)编译优化 H200 上的图像和视频生成 demo。
Hugging Face 发布教程,介绍通过 Remote MCP server(https://huggingface.co/mcp?login)把 Claude 连接到 Hugging Face Spaces 生成图像,2025 年 10 月起需用 Add custom connector 方式添加。
Hugging Face 发布面向学术研究发现的 Research Tracker MCP,用户可在 huggingface.co/settings/mcp 搜索添加,供 Claude Desktop、Cursor、Claude Code、VS Code 等客户端使用。
UI-Venus 是一款本地 UI 智能体,仅以屏幕截图作为输入,即可执行精确的图形用户界面元素定位与高效导航。该代理无需依赖系统底层代码或辅助功能接口,直接通过视觉信息理解界面结构,实现自动化操作。其核心能力在于对任意应用或网页中的按钮、菜单、文本框等元素进行准确识别与交互,提升了跨平台任务执行的通用性与可靠性。
OpenAI 发布 Cookbook 教程,讲解如何在本地硬件上用 LM Studio 运行 gpt-oss。LM Studio 是一款在本地硬件运行大语言模型的桌面应用,教程将引导用户完成本地运行 gpt-oss 的步骤。
OpenAI 开发者发布教程,讲解如何用 Ollama 在本地硬件上部署 gpt-oss-20b 或 gpt-oss-120b 并选择合适的推理设置。
推荐理由:来自 OpenAI 开发者官方的实操指南,读者可按步骤在自己硬件上用 Ollama 跑通 gpt-oss 两个规格模型。
OpenAI 开发者 Cookbook 发布教程,讲解如何结合 gpt-oss 与 Hugging Face Transformers 进行微调。文章由 Edward Beeching、Quentin Gallouédec 和 Lewis Tunstall 撰写,并从大型推理模型(如 OpenAI o3)通过生成思维链提升准确性的背景切入。
Hugging Face 宣布 Parquet Content-Defined Chunking(CDC)现已在 PyArrow 和 Pandas 中可用,配合 Xet 存储层只上传或下载变化的数据块,降低 Parquet 文件传输和存储成本。
Modal 工程团队在平台上部署 NVIDIA parakeet-tdt-0.6b-v2 与 canary-1b-flash 开源 ASR 模型,对约一周(7×24 小时)ESB 基准音频做批量转写,结果比所测专有 API 快 112 倍或便宜 200 倍,且错误率略低,实现了一分钟内以 1 美元转写一周音频。
Hugging Face 发布针对 Flux.1-Dev 的 LoRA 快速推理优化教程,结合 Flash Attention 3、torch.compile 和 FP8 量化,在 H100 上实现约 2.23x 提速。
Manus 团队成员 Yichao 'Peak' Ji 撰文分享构建 Manus 智能体的上下文工程经验,核心原则包括围绕 KV-cache 命中率设计、用 logits 遮蔽而非移除工具、把文件系统当作终极上下文、通过复述待办列表操控注意力,以及保留错误和避免少样本陷阱。
推荐理由:Manus 团队复盘构建智能体的上下文工程经验,KV缓存、工具遮蔽和文件记忆等做法可直接迁移到读者的 Agent 项目。
Hugging Face 宣布 Hub 存储后端从 Git LFS 迁移到 Xet,半年内 50 万个仓库、20PB 数据完成迁移,用户超 100 万,5 月起对新用户默认启用。
OpenRouter 宣布其灵活模型路由支持在 Cursor 中运行月之暗面的 Kimi K2。用户可直接在 Cursor 中调用 OpenRouter 路由的模型,无需额外配置。
Hugging Face 发布开源 Python 库 ScreenEnv,可在 Docker 容器中创建隔离的 Ubuntu 桌面环境,用于测试和部署 GUI Agent(Computer Use)。
Hugging Face 团队复盘官方 MCP Server(hf.co/mcp)的开发经验,服务器开源自持 STDIO、SSE 和 Streamable HTTP 三种传输方式。
Hugging Face 发文介绍如何通过 Gradio MCP Servers 为 LLM 添加新能力。Gradio 自 5.28.0 版本起支持 MCP 协议,使 Hugging Face Spaces 上数千个应用可作为 MCP 服务器使用,文章以 Flux.1 Kontext[dev] 图像编辑为例,演示了在设置中添加 Spaces Tools 并接入 Cursor 的完整步骤。
Modal 团队复盘其 QArt codes 服务的工程过程,通过 evals 和推理时算力扩展将二维码扫描率提升到 95% 的 SLO,同时改善美观度并将 p95 端到端延迟控制在 20 秒内。
Hugging Face 发布教程,讲解如何用 Sentence Transformers 训练和微调稀疏嵌入模型,涵盖模型架构选择(Splade、Inference-free Splade、CSR)、数据集、损失函数、训练参数与评估器等组件。
Factory 发布 Agent Native Development 方法论,主张让 agent 运行收集上下文、规划、实现、验证、提交的完整内循环,人来负责架构决策和护栏。
Hugging Face 发布教程,讲解用 QLoRA 和 diffusers 库在单卡消费级硬件上微调 FLUX.1-dev,学习 Alphonse Mucha 画风。
Hugging Face 发布 Kernel Hub 入门教程,介绍通过 kernels 库的 get_kernel 直接从 Hub 加载预编译优化内核,无需本地编译 Triton 或 CUTLASS,例如一行代码启用 FlashAttention,库会自动匹配 Python、PyTorch 和 CUDA 版本下载对应二进制。
ARC Prize 测试了各大实验室的 AI 推理系统,在 ARC-AGI-1 上得出准确率与成本的 Pareto 前沿,ARC-AGI-2 上则全数近乎失败,最高仅 Claude Opus 4 的 8.6%。文章指出测试时计算扩展方法堆叠可提升准确率但效率大幅下降,ARC-AGI-2 上的一致性差说明前沿系统存在共同局限,AGI 仍需新想法。
TensorZero 团队将自家的开源框架作为自托管代理接入 Cursor,经 Ngrok 和 Nginx 绕过 Cursor 服务器与 CORS 限制后,成功观察并控制其全部 LLM 调用。
Hugging Face 发布 Tiny Agents in Python,受 Tiny Agents in JS 启发将 huggingface_hub 客户端 SDK 扩展为 MCP Client,可用约70行代码构建 MCP 驱动的智能体。
Hugging Face 发布 Diffusers 量化后端指南,对比 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 在 FLUX.1-dev 上把 BF16 加载内存约 31.447 GB 压缩到约 10.6 至 23.7 GB 的表现。
Hugging Face 团队发布 nanoVLM,一个用纯 PyTorch 训练视觉语言模型的极简工具仓库,可在免费版 Colab 上启动训练。
Hugging Face 官方宣布,未来 Transformers 将作为跨框架的模型定义标准,凡支持的 300+ 模型架构可望在 vLLM、SGLang 等推理引擎及 Axolotl、Unsloth 等训练框架中获得支持。团队还将简化模型贡献流程,目标是让新模型不再需要 6000 行代码、20 个文件的改动,并与 llama.cpp、MLX 加强 GGUF 等格式互转。
LlamaIndex 发布改进的 Memory 组件,为 Agent 提供短长期记忆能力。基础形式将聊天记录按 token 上限存入 SQL 数据库(默认内存 SQLite)。
ARC Prize Foundation 首次公布 OpenAI o3 与 o4-mini 在 ARC-AGI 上的公开测试结果。o3-low 在 ARC-AGI-1 Semi Private Eval 得分 41%,o3-medium 达 53%,两者在 ARC-AGI-2 上均未超过 3%;o4-mini-low 在 ARC-AGI-1 得 21%。
Claude Code 提供了一套完整的智能体编程工具与框架。其核心遵循“先探索、再计划、后编码”的工作流,并通过配置 CLAUDE.md 文件、管理权限和连接 MCP 服务器来优化环境。最佳实践强调为 Claude 提供工作验证方法、积极管理上下文、使用子代理进行调查,以及利用检查点回退来处理复杂任务。文档还详细介绍了在 VS Code、JetBrains IDE、Slack 及 CI/CD 中的集成使用,并提供了避免常见失败模式的实用建议。
推荐理由:Anthropic 官方出的 Claude Code 最佳实践,不是泛泛而谈的入门指南,而是从 CLAUDE.md 配置到 subagent 编排的完整工程手册,用 Claude Code 做日常开发的人直接照抄就能少踩一半坑。
OpenAI 发布介绍视频,演示如何使用 4o 模型创建图像。视频展示了 4o 的图像生成功能的基本用法。
推荐理由:官方演示如何用 4o 模型生成图像,想上手该功能的开发者可以直接参照操作。
Anthropic为Claude引入了“思考”工具,允许其在生成最终响应前插入一个专门的思考步骤,以处理多步骤工具调用链、分析外部信息并遵循复杂策略。该工具与更早发布的“扩展思考”功能不同,更侧重于在响应生成过程中对新信息进行针对性推理。在τ-Bench基准测试中,该工具显著提升了Claude在客户服务场景的表现。文章建议在需要复杂工具调用、长链分析或高成本序列决策的场景中使用它,并提供了标准的工具实现格式。
LangChain 博客介绍开发者加速 AI Agent 的常见做法:先用 LangSmith 诊断延迟来源,再通过流式输出和后台运行降低用户感知延迟。其他要点包括减少 LLM 调用次数(如用 LangGraph 精确控制智能体通信)、换更快模型、削减输入上下文以及并行执行 LLM 调用。
Hugging Face 发布 Mini-R1 教程,介绍如何通过强化学习复现 DeepSeek R1 的“aha moment”,以倒计时游戏为示例。正文抓取失败,细节以原文为准。
升级版 Claude 3.5 Sonnet 在软件工程评估基准 SWE-bench Verified 上取得 49% 的解决率,超越此前最佳模型的 45%。该基准通过真实 GitHub 问题测试 AI 模型完成软件工程任务的能力,要求模型在给定环境中理解、修改并测试代码,最终通过原始单元测试验证。Claude 团队构建的智能体设计简洁,仅包含提示词、Bash 工具和编辑工具,赋予模型充分的自主判断空间,以灵活步骤解决问题。目前尚无模型在该基准上突破 50% 的解决率。
ARC Prize 官方测试报告显示,OpenAI o3 在 ARC-AGI-1 Semi-Private 评测中以 $10k 算力上限取得 75.7%,高算力(172 倍)配置达 87.5%,Public Eval 高算力为 82.8%、低算力为 91.5%。
推荐理由:ARC Prize 官方第一手测试数据,给出 o3 在 ARC-AGI 各算力档位的得分、成本和机制解读。
Anthropic基于实践经验指出,成功的LLM智能体往往采用简单、可组合的模式,而非复杂框架。文章区分了工作流(预定义路径编排)与智能体(LLM动态自主决策),建议开发者优先采用最简单方案,仅在必要时增加复杂性。许多核心模式直接调用LLM API仅需几行代码即可实现。文中介绍了增强型LLM、提示链等基础构建模块,强调应为特定用例定制检索、工具等增强功能,并推荐通过Model Context Protocol集成第三方工具生态。
推荐理由:Anthropic 官方把过去一年踩过的坑浓缩成一篇 Agent 架构指南,核心观点是「别上框架,先用最简单的模式」。做 Agent 产品的开发者,这篇比任何第三方教程都值得当 checklist 用。
传统RAG系统在编码时易丢失上下文,导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术,在检索前为文本块添加解释性上下文,能将检索失败次数减少49%,结合重排序后降幅可达67%,显著提升了下游任务性能。对于小于20万token的小型知识库,可直接将其完整内容放入提示词,结合Claude的提示词缓存功能,能降低超过2倍的延迟和高达90%的成本。对于大型知识库,上下文检索则提供了可扩展的解决方案。
ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%,与 Claude 3.5 Sonnet 的 21% 相当,但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练时和推理时的 CoT 范式,从记忆答案转向记忆推理,但仍限于预训练数据分布内,测试时算力增加虽能对数级提升准确率,实现 AGI 仍需新思路。