附录 C：FAQ 与最佳实践

本章整理 AI Harness 工程中的常见问题和最佳实践。

FAQ：常见问题

1. 评估体系设计

Q: Golden Set 需要多少案例？

A: 根据场景复杂度确定：

• 简单场景（如分类）：50-100个
• 中等场景（如QA、客服）：100-300个
• 复杂场景（如Agent、多轮对话）：300-500个

Q: 自动评估和人工评估的比例？

A: 建议配置：

Q: 评估多久运行一次？

A: 根据变更频率：

2. 测试方法论

Q: Prompt 测试和传统测试有什么区别？

A: 核心区别：

Q: 如何处理模型输出的不确定性？

A: 采用以下策略：

1. 控制温度：评估时使用 temperature=0.0
2. 多次执行：关键场景执行3-5次取平均
3. 方差监控：稳定性测试检查输出方差
4. 阈值而非断言：使用得分阈值而非精确匹配

Q: 边界测试案例如何设计？

A: 分类设计：

3. 架构实现

Q: 如何控制评估成本？

A: 成本优化策略：

# 成本估算公式
Cost = (N_cases × Avg_tokens × Price_per_token) + (N_eval_calls × Eval_cost)

# 优化示例
# 100案例 × 1000tokens × $0.03/1K = $3
# G-Eval评估 × 100 × $0.01 = $1
# 总成本 ≈ $4/评估

Q: 评估结果如何存储和追溯？

A: 推荐方案：

# 存储架构
结果存储:
  - 文件存储(JSON/YAML): 完整结果归档
  - 时序数据库(Prometheus): 指标历史
  - 关系数据库(PostgreSQL): 结构化分析
  
追溯能力:
  - eval_id: 评估唯一标识
  - timestamp: 时间戳
  - config_snapshot: 配置快照
  - dataset_version: 数据集版本
  - model_version: 模型版本

4. 监控告警

Q: 如何避免告警风暴？

A: 告警收敛策略：

Q: 监控指标如何选择？

A: 三层指标体系：

业务层（用户视角）
├── 用户满意度
├── 任务完成率
└── 用户投诉率

技术层（系统质量）
├── 自动评估得分
├── 内容安全率
└── 引用准确性

基础层（系统健康）
├── 响应时间 P95
├── 错误率
└── Token消耗

5. 实战问题

Q: 发现质量下降怎么办？

A: 诊断流程：

graph TB
    A[质量下降告警] --> B{范围?}
    
    B -->|全部场景| C[检查模型/Prompt变更]
    B -->|部分场景| D[分析失败模式]
    
    C --> C1[对比变更前后]
    C --> C2[检查API稳定性]
    
    D --> D1[案例分类分析]
    D --> D2[定位具体问题]
    
    C1 --> E[决策: 回滚/修复]
    D2 --> E

Q: 如何验证优化效果？

A: A/B测试流程：

1. 设置实验：新旧版本分流（50/50或逐步）
2. 收集数据：评估得分 + 用户反馈
3. 统计检验：确保显著性（p < 0.05）
4. 决策：效果显著则采用新版本

最佳实践

1. 评估体系

2. 测试流程

3. 监控告警

4. 团队协作

5. 成本控制

Checklist 清单

新项目启动 Checklist

✅ 定义评估场景和指标体系
✅ 构建初始 Golden Set（100+案例）
✅ 选择评估框架和工具
✅ 设计评估架构
✅ 设置基线和阈值
✅ 集成 CI/CD 流程
✅ 配置监控系统
✅ 建立团队分工

评估执行 Checklist

✅ 确认数据集版本一致
✅ 确认模型配置一致
✅ 记录评估配置快照
✅ 执行全量评估
✅ 分析结果和失败案例
✅ 与基线对比
✅ 生成报告和建议
✅ 决策是否可发布

发布前 Checklist

✅ 评估得分超过阈值
✅ 无 P0/P1 级别问题
✅ 人工抽查通过
✅ 监控告警配置就绪
✅ 回滚方案准备
✅ 发布计划确认

监控日常 Checklist

✅ 检查告警状态
✅ 查看质量趋势
✅ 分析失败案例
✅ 用户反馈跟踪
✅ 优化建议生成
✅ A/B测试验证

排错指南

常见错误和解决方案

参考资料

推荐阅读

社区资源