当页面从几十个增长到几百上千个,手工逐页改标题、查死链、盯索引会迅速变成瓶颈。判断标准不是“手工能不能做完”,而是这项工作是否依赖逐页判断、是否需要在每次内容变动后重复执行。若答案是否定的,就应转为规则化处理或批量校验,把人力留给真正需要判断的页面。
把手上正在做的 SEO 任务列出来,逐条标注它的触发方式。一次性判断只在特定页面发生,比如首页结构、栏目划分、核心产品页的标题与内链设计,这类工作手工做反而更准确。重复核对是每次发布或改版后都要再看一遍的项,比如新页面是否出现在站内链接里、旧链接跳转是否仍然有效。规则可覆盖则指能用统一条件描述的工作,比如所有分页的标题格式、所有商品页的 canonical 指向、所有列表页的索引策略。
规模扩大后最先出问题的是第二类和第三类。它们的特点是数量随页面增长而线性增长,但判断逻辑几乎不变。继续手工处理,成本上升而质量不升,还容易漏掉新增页面。
拿站点地图或后台导出的 URL 列表作为对象,按模板归类,而不是按单个 URL 归类。假设一个内容站有文章页、标签页、分页、作者页四类,那么需要为每一类写出三件事:这类页面是否应被索引、标题和描述由哪些字段拼成、站内链接从哪些位置指向它。
写规则时注意一个取舍:规则越统一,越容易批量校验,但越难照顾例外。可行的做法是先让规则覆盖大多数页面,再单独维护一份例外清单。例外清单本身要控制数量,否则等于把手工工作换了个地方存放。完成归类后,下一步是验证规则是否真的生效,而不是直接扩大执行范围。
规则上线后,常见的验证信号是抓取量、索引量、收录比例的变化。但这些数字波动有多种解释:改版导致 URL 结构变化、站点地图更新延迟、抓取预算被其他目录占用,都可能让曲线短期内变化。因此不能只看总量,要按模板分组对比。如果某一类页面的索引比例明显低于其他类,才更可能是该类规则本身的问题,而不是整体抓取异常。
另一个容易忽略的动作是抽查。批量处理后随机抽取若干页面,检查标题是否重复、canonical 是否指向自身、内链是否可达。抽查发现的问题如果集中在某一模板,就回到规则层修正;如果分散出现,说明规则描述不够具体,需要补充条件。
不是所有工作都适合批量化。核心落地页的标题与描述、栏目之间的链接结构、涉及品牌词与通用词取舍的页面,这些决策依赖对业务和用户意图的理解,模板化会削弱区分度。此外,当站点处于方向调整期,页面类型本身还在变动时,过早固化规则会带来返工。
一个可参考的分界是:这项工作是否需要针对每个页面的具体内容做不同决定。需要,就保留手工;只需要判断页面属于哪一类,就交给规则。按这个分界重新分配人力,通常能把重复核对的时间压缩下来,用于处理真正影响抓取和理解的少数页面。
批量校验完成后,把发现的模板级问题记录下来,作为下一轮规则调整的输入。如果某类页面反复出现同一问题,说明规则条件需要修改,而不是继续增加抽查频率。若某类页面始终没有异常,可以降低其检查优先级,把精力转向新出现的页面类型。这样处理,规模扩大带来的不是工作量等比例增加,而是规则覆盖范围逐步扩展。