6+外部真实任务双盲众测轮次
50–100每轮深度参与的开发者规模
3–4同任务并行的匿名对比模型数
静态题库回答不了的问题
预设的算法题或单函数补全，无法反映开发者在真实项目中跨文件修改、排查环境依赖时的挫败感。为了找到真正值得投入算力与数据的改进方向，我将研究重心收敛到三个维度：用户在真实工作流中到底拿模型干什么（任务分布）、同台竞技时谁更胜一筹（相对胜率），以及崩溃究竟发生在哪一个执行步骤（失败归因）。
让真实任务在双盲环境中可比较、可追溯
为了让主观体感变成可靠证据，测试者需要在同一套 Agent 框架下，用 3 到 4 个隐去身份的模型处理完全相同的手头真实任务，并提交偏好排序与具体报错。为此，我独立开发了一套模型转发服务（Proxy）：统一抹平各模型的配置差异、分发匿名入口并维护用户映射，同时在后台完整落盘每一次请求、响应及工具调用轨迹（Traces）。该服务随测试流量弹性扩缩，稳定支撑了 6 轮以上众测、沉淀下数百个高价值真实任务样本。
从执行轨迹到迭代决策
通过对偏好排序与底层轨迹的交叉拆解，我们得以清晰定位不同模型在特定场景下的短板，直接指导后续的数据配比与合成补强方向。
严谨性说明：真实众测样本受当期招募群体影响显著（例如某一期约 70% 的任务集中在信息聚合与脚本整理，仅代表当期切面）；出于数据合规，此处不披露未公开的模型净胜率涨幅；所搭建的转发服务专用于评测数据采集，在架构上不等同于包含完整计费、清结算与高可用 SLA 的商业级 API 网关。