规模扩大后,最先不该继续手工做的,不是“所有重复劳动”,而是那些结果必须逐条一致、且一旦漏做就会污染后续判断的工作:全站可索引性核查、模板级元数据与内链规则、以及跨批次的抓取与日志对照。反过来,一次性判断、争议页面取舍、内容质量定性,仍然适合人工,甚至必须人工。下面用一个明确标注为假设的情境,把决策过程走一遍。
假设一个站点从八十个页面扩到八百个页面,仍沿用原来的手工评估方式:每周抽二十个页面,逐个看标题、描述、canonical、内链和收录状态,记录在一张表里。前两个月看不出问题,因为样本覆盖比例还有四分之一。扩到八百页后,同样的二十页只覆盖四十分之一,于是出现三种典型误判。
这三种误判的共同点,是手工抽样在样本比例下降后,既不能证明正常,也不能定位异常范围。此时需要换的不是更勤快地抽,而是换判断单位:从“页面”换成“模板与规则”。
可索引性是抓取、索引、排名三个环节里最靠前的一环,它决定后面所有评估是否有意义。页面数量少时,人工逐页确认 robots 指令、canonical、状态码和分页关系是可行的;规模上去后,人工只能确认“看过的那些”,无法确认“没看的那些”。
实际动作可以这样设计:先按模板和 URL 模式分组,例如列表页、详情页、筛选参数页、分页页各成一组,每组抽少量样本确认规则,再用批量抓取或站点日志核对整组的响应状态与指令是否一致。这里要说明一个边界:抓取量下降或某类 URL 在日志中消失,不能单独证明处理正确,它也可能是抓取预算被其他区块占用、服务器响应变慢、或该组页面本来就不该被抓。判断时需要把日志、抓取结果和页面模板变更时间放在一起看。
这个动作的结果会直接决定下一步:如果整组规则一致且与预期相符,就可以把这组从每周手工清单里移除,只保留变更时的回归核对;如果组内不一致,说明问题在模板或参数生成逻辑,应该去改生成规则,而不是继续逐页修补。
标题、描述、H1 这类元素,在页面少的时候逐条打磨是合理的,因为它直接影响点击与主题表达。但规模扩大后,真正需要机器保证的不是“写得好不好”,而是“有没有、是否重复、是否符合模板预期”。这两件事要分开。
可以这样取舍:把“是否存在、是否唯一、是否落在模板规则内”交给批量校验,把“这条描述是否准确概括本页、是否值得点击”留给人。内链同理——全站的链接可达性、孤儿页面识别、链接深度分布适合按规则计算;而“这一页该不该链向那一页、锚文本用哪个说法更自然”仍然依赖人工判断。
一个可区分的证据是重复模式。如果同一批页面的标题重复出现在同一模板下,通常指向模板变量缺失;如果重复只出现在少数手工编辑过的页面,通常指向编辑流程。前者改规则,后者改流程,处理位置完全不同。把这两类混在一张手工表里,就会反复出现“改完又冒出来”的情况。
规模扩大后,评估的难点往往不在单次检查,而在“和上次比变了什么”。人工记录容易只记结论不记条件,导致两次数据不可比。适合交给流程化处理的是:固定抓取范围、固定字段、固定时间点,把每次结果留存为可对照的快照。
这里要避免一个常见错误:把某项统计归零直接当成问题已解决。抓取量、索引量、某类页面数量的变化,都可能来自抓取范围调整、过滤条件变化或统计口径变化。合理做法是同时保留原始明细,让下一次对照能回到具体 URL,而不是只看到一个总数。
需要人工介入的,是快照之间出现结构性差异时的归因:是模板改了、内容类型新增了、还是外部链接结构变化了。这一步无法靠规则自动完成,因为规则只能告诉你“变了”,不能告诉你“为什么变、该不该变”。
把上面三类交出去之后,容易走向另一个极端:把所有判断都规则化。以下工作仍建议保留人工,且规模越大越要保留,因为它们的价值恰恰在于例外处理。
可以用一句话概括边界:凡是“必须每条都一致、且漏一条就会误导后续判断”的工作,规模化后不适合继续手工;凡是“需要权衡、需要解释为什么”的工作,手工反而不可替代。按这条线重新分配之后,手工清单会变短,但每一项都更值得花时间。