AI 客服质检复盘手册
用于客服主管配置 AI 客服质检指标、抽样规则、审阅复盘、知识回流、风险复盘和每周改进节奏。
AI 客服质检不应只抽查最终回复，还要检查意图、知识、查证、审阅、证据和回流。
1. 质检范围
建议每周抽查以下样本：
- 高频自动回复；
- 被人工改写的回复；
- 审阅通过和审阅驳回的回复；
- 退款、补偿、投诉、差评等高风险 case；
- 未解决或重复咨询的会话；
- 新知识或新流程发布后的会话。
抽样要覆盖不同渠道、店铺、语言和客服团队。
2. 评分维度
每条样本至少检查：
| 维度 | 检查点 |
|---|---|
| 意图 | 是否识别客户真实诉求、情绪和紧急程度 |
| 知识 | 是否引用正确知识，是否适用于当前市场和渠道 |
| 查证 | 需要订单、物流、退款状态时是否先查证 |
| 风险 | 是否正确触发草稿、审阅或人工接管 |
| 回复 | 语气、准确性、完整性和可执行下一步 |
| 证据 | 是否保留客户原文、依据、审阅和结果 |
| 回流 | 错误是否转化为知识或规则更新 |
3. 质检指标
核心指标包括：
- 意图识别准确率；
- 知识命中率；
- 人工改写率；
- 审阅通过率；
- 高风险拦截率；
- 证据完整率；
- 重复投诉率；
- 知识回流关闭率。
不要只看自动化率。自动化率高但证据缺失、投诉上升，说明风险正在积累。
4. 驳回原因分类
人工驳回 AI 回复时，应归类原因：
- 知识缺失；
- 知识过期；
- 适用渠道错误；
- 后台状态未查证；
- 风险等级判断错误；
- 语气不符合品牌；
- 多语言表达不准确；
- 需要人工关系维护。
分类越清楚，后续改进越快。
5. 每周复盘流程
建议每周固定节奏：
- 汇总质检样本；
- 排序高频问题和高风险问题；
- 定位知识、流程、审阅或后台查证根因；
- 更新知识和规则；
- 用历史样本复测；
- 小范围发布；
- 记录下周观察指标。
6. 发布验收
一项质检改进可以发布时，应满足：
- 历史问题样本通过；
- 高风险场景能触发审阅；
- 回复能追溯知识来源；
- 后台查证证据完整；
- 人工改写率下降或问题归因更清晰。
7. 主管看板建议
客服主管应重点看：
- 本周新增高风险问题；
- 人工驳回原因分布；
- 知识缺口关闭情况；
- 各渠道质量差异；
- 审阅队列等待时间；
- 证据缺失 case。
AI 客服质检的目标不是让主管看更多聊天记录，而是让主管更快发现系统性问题。
