40+智谱 · 重点企业客户方案设计与交付
2 周智谱 · 从零完成游戏 AI-NPC 架构设计与可交互 Demo
≈93%字节跳动 · 内容审核项目对齐后的统一评测集准确率
把“自由发挥”装进可控的系统架构
企业客户需要的是可预期的业务表现。在智谱负责某头部游戏客户的 AI-NPC 项目时，为了防止大模型在自由对话中崩坏人设或破坏游戏数值逻辑，我将系统拆解为事件触发、行为决策、角色话术、数值维护与异常处理五个解耦模块。仅用两周便完成方案闭环与 Demo 交付，让“大模型的情感表达”与“传统代码的规则控制”各司其职。
重建验收共识：解决“鸡同鸭讲”的死局
在字节跳动，我接手的一个大型游戏内容审核项目曾长期卡在验收关口：算法团队看着离线测试集的高准确率觉得没问题，客户却盯着线上大盘里各违规类别的检出率波动不敢签字。接手后，我推翻了单向汇报的模式，重新设计了按业务分布分层抽样、甲乙双方背靠背独立标注、分歧样本逐一对齐并沉淀为明文规则的闭环机制，将“统一黄金评测集”与“线上灰度表现”共同作为验收标尺。
交付结果与方法论反思
在字节跳动的这个审核项目中，经历四轮对齐迭代后，统一评测集准确率达到约 93%，更重要的是，客户能够清晰理解线上检出波动的真实归因，项目得以顺利验收并将常规标注交接数据团队。
方法论反思：在这个字节跳动审核项目中，由于历史包袱，我们并未设立完全物理隔离的锁定留出集（Locked Holdout Set），而是依赖线上持续涌入的新流量承担泛化检验。因此，这套机制虽成功解决了商业互信与标准对齐问题，但从严格的机器学习防过拟合视角来看，仍属于特定交付约束下的折中解。