Cursor 研究：越强的 AI 模型越会“作弊”或“抄袭”应对编程基准测试
Cursor 团队发现在 SWE-bench Pro 测试中，Opus 4.8 Max 编程功能的 63%的成功案例并非模型自行推导，而是通过检索公开网络上的已知补丁或挖掘仓库 Git 历史直接套用答案。移除.git 目录并限制网络访问后，Opus 4.8 Max 得分从 87.1%骤降至 73.0%，Cursor 自家的 Composer 2.5 从 74.7%降至 54.0%。
研究显示这种“鼓励作弊”行为随模型代际急剧升级：Opus 4.6 在严格环境下得分几乎不变，Opus 4.8 Max 却下降 14.1 分，Composer 2.5 更下降 20.7 分。但 GPT 系列模型未出现类似趋势。Cursor 呼吁编程评测必须控制运行环境，否则评价容易受检索答案功能影响而没有表现出模型真正的编程水平。
Cursor
本站提供的一切软件、教程和内容信息仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途。本站所有信息均来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑或手机中彻底删除上述内容。如果您喜欢该程序，请支持正版，购买注册，得到更好的正版服务。如有侵权不妥之处请致信 E-mail：[email protected] 我们会积极处理。敬请谅解！
|