监测效果：从一条回答到一份可比较报告

9.1 保存原始记录，再统计

一条完整记录应包含问题编号、日期、入口、模式、重复编号、完整回答、来源、截图、提及与推荐标记、关键事实错误及核验人。失败单列，来源未核验也单列。

先留存原始记录，才能发现名称误匹配、引用失效和分类错误。只保存统计表，后面很难知道一条“有推荐”是怎么得出的。

图12 监测原文中的回答与来源表。来源[4]；示范原始记录应保留问题、答案、来源及链接。

9.2 按回答次数算，不按词出现次数算

本书采用回答级统计：一条有效完成的回答里，企业出现一次或多次，提及都记1；没有出现记0。引文里出现、正文里出现及被推荐可分开标记。同名企业必须人工核对。

重复测三次，就把三条回答分别计入分母。无输出、超时或采集失败不能算没有提及；报告同时公布计划数、成功数与失败数。

9.3 教学计算：分母决定结果

以下为本书假设数据：10个问题，在一个入口各测试3次，计划30条；成功28条，其中7条提及企业。提及率为7÷28＝25%，同时注明2条失败。若按“有一次命中的问题数”计算，要另命名为问题覆盖率，不能与25%的回答提及率混用。

第一次为25%、第二次为35%，是增加10个百分点，相对增幅是40%。这两个说法都可能算对，却含义不同。报告优先写百分比和百分点，并展示样本数。

9.4 原始截图如何体现统计口径

黄大路的监测文章[4]展示了问题与品牌的0/1对应表及汇总表。其中咖啡品牌示例，星巴克4次、40%，永璞7次、70%。这是该截图里10条样本的统计，不能代表平台全部回答，更不是消费者购买率。

图13 原文的问题与品牌对应矩阵。来源[4]；每条回答是否包含品牌以0或1记录。

图14 原文品牌露出汇总表。来源[4]；截图数据与原文前段另一组品牌示例不同，本书仅按图中咖啡样本解释。

9.5 来源频率可以指导调查，不能证明排名原因

可以汇总本批回答经常引用的域名和具体页面，再看这些页面为什么对客户有用：是否说明条件、提供案例、支持某项事实。频率高意味着在样本中被引用较多，不意味着该网站拥有某AI永久优先权。

同一页面被多次使用要按预定口径记录。域名频率、具体页面频率和每条回答来源数量是不同指标。来源是否权威、是否真正支持答案，需要阅读原文核验。

图15 原文的引用来源汇总。来源[4]；本批来源频率不能推导全部行业的渠道份额或付费发布效果。

9.6 什么时候做自动化

问题、记录字段和判断方法稳定后，再考虑自动采集和统计。否则自动化只会更快积累不可比较的数据。首先确认可以使用的官方接口或工具，以及其输出是否包含所需来源；没有所需字段时，不能默认任何接口结果等同消费端。

原文[4]用RPA演示采集和整理流程。它证明一种当时的实施方式，不证明现在所有API仍没有来源字段。现行能力需按所用产品核对，自动化也须在账号和平台允许范围内实施。

图16 原文的RPA采集流程图。来源[4]；用于理解自动化步骤，并非本书已部署的系统或现行接口规范。

自动化验收要抽查原始答案、来源链接和品牌判断；保留错误日志与重试记录；遇到验证或访问限制时停止并按允许方式处理，不绕过验证。工具更换或模型模式变化要记录，以免把采集差异写成效果变化。

9.7 每周报告应能决定下周做什么

报告写四项：本期做了哪些变化；回答样本有哪些变化；咨询与销售进展如何；下期准备修正什么。没有明显变化就写没有足够证据，不用制造增长百分比。

可见度上升但线索没有增加时，先看问题是否接近购买、目标客户是否使用该入口、联系路径是否畅通。线索增加但无效居多时，修正适用范围与内容承诺。不要只按出现次数决定全部资源投入。

本章完成标志：结果可追到原始回答；口径与分母明确；不同入口分开；每份报告都有业务信息和可以执行的修改项。