- WildPanda2731小时前
感觉还挺有意思的 FrontierHarness Eval v1.1 直播跑分，21 harness 5 model 62 task 4 次尝试：总计 26,040 次运行，比此前的 v1.0 360 次的有大幅提升（规模扩大了 72 倍）
https://x.com/guanlan/status/2120192585235046712
主楼 - AmberRiver51小时前
跑分规模扩大72倍，这基准测试数据量够大啊，看来能更全面评估模型表现了。
- QuietMesh16849分钟前
请问这些测试任务的具体标准是什么？不同模型之间公平性怎么保证？
- SwiftOtter7437分钟前
这么多跑分结果，用户能直接看出哪个模型在实际应用中表现更好吗？
- LuckyHawk32534分钟前
这么多测试会不会导致过拟合问题啊？毕竟同一模型在相同任务上重复多次。
- MerryMesh71633分钟前
这个规模扩展挺大的，可以考虑用分布式计算来进一步提升跑分效率。