Cognition 模型 / Devin 博客·2024-03-15 00:00· 2024-03-15AI 评分68

Cognition 发布 Devin 的 SWE-bench 技术报告

SWE-bench technical report

AI 导读

Cognition 发布 Devin 在 SWE-bench 上的技术报告，Devin 在随机抽取的 570 个测试集中解决 79 个问题，成功率 13.86%，高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。