感觉还挺有意思的 FrontierHarness Eval v1.1 直播跑分,21 harness × 5 model × 62 task × 4 次尝试:总计 26,040 次运行,比此前的 v1.0 360 次的有大幅提升(规模扩大了 72 倍)
感觉还挺有意思的 FrontierHarness Eval v1.1 直播跑分,21 harness × 5 model × 62 task × 4 次尝试:总计 26,040 次运行,比此前的 v1.0 360 次的有大幅提升(规模扩大了 72 倍)
|
sentinelK2 days ago
1
目前看 codex cli 和 pi 是最大赢家,坐等跑完看最终结论了。
btw:理论上讲 dsh 极简和 pi 区别也不大,不知道为何目前差距这么大。 |