跳到正文
Answer.AI 官方研发博客·· 2025-01-08精选AI 评分78

Answer.AI 实测 Devin:20 项任务仅 3 次成功,自主编程能力存疑

Thoughts On A Month With Devin

AI 导读

Answer.AI 团队对 AI 软件工程师 Devin 进行了为期一个月的深度测试。尽管早期在 API 集成等简单任务中表现尚可,但在扩展至新项目创建、研究及代码修改等 20 项真实任务时,结果令人失望:仅 3 项成功,14 项失败,且无法预测成败规律。Devin 常陷入技术死胡同、生成过度复杂的“面条代码”,或在面对不可行任务时产生幻觉并浪费大量时间。文章指出其实际表现远低于宣传预期,难以替代人类开发者。

推荐理由

来自知名 AI 评测机构的详实一手数据,揭示了明星产品 Devin 在真实工作流中的局限性,为评估当前自主编程 Agent 的实际成熟度提供了重要参考。

来源:Answer.AI 官方研发博客 · answer.ai