当页面从几十个增长到几百上千个,最先该从手工清单里拿掉的,不是“写内容”或“改标题”,而是那些每次都要逐页重复、结果又能用规则校验的机械动作。判断标准很直接:如果一项工作在同一模板下重复出现,且判断依据可以写成明确的规则,继续手工做就会开始拖慢整条流程;反过来,只要涉及主题取舍、页面合并或用户意图判断,手工仍然比批处理可靠。
规模扩大后的第一个变化,是同一类问题会成批出现。例如几百个商品页的标题都缺品牌词,几百篇资讯的正文都指向同一个已失效链接。这类问题的共同点是:处理动作一致,判断依据固定,出错也能通过规则回查。
另一类工作看起来也重复,实际每次都要重新判断。比如两个内容相近的页面该保留哪一个、某篇旧文该更新还是重写、某个栏目是否值得继续维护。这些决定依赖对用户意图和内容价值的理解,批量处理反而容易把本来该保留的页面误删或误合并。
可操作的分界线是:把一项工作连续做十次,如果每次的判断依据完全相同,就适合交给规则或脚本;如果第十次需要参考前九次之外的上下文,就继续手工,或者只把其中的数据收集部分自动化。
第一类是批量可校验的页面元素。同一模板下的标题长度、描述缺失、图片替代文本空缺、内链指向错误,都可以先用抓取结果生成清单,再按规则批量处理,最后用同一份清单复查。这里的关键不是工具本身,而是先有规则再有动作;没有规则的批量修改只是把错误放大。
第二类是站内链接的常规维护。当页面数量上升,手工记录“哪篇链向哪篇”很快失效。可以按主题或栏目建立链接规则,让新页面自动进入对应的内链位置。动作的结果会直接影响下一步:如果批量加链后目标页面的抓取频率和入口数量发生变化,说明规则生效;如果没有变化,就要先检查这些链接是否真的出现在正文可点击位置,而不是只存在于脚本输出里。
第三类是状态监控。失效链接、返回异常状态码的页面、被 robots 规则挡住的目录,都适合定期自动检查并生成差异报告。手工抽查在几十个页面时够用,规模上去后只能覆盖极小一部分。
内容层面的取舍不适合交给批量规则。一个页面该更新、该合并还是该退出,需要看它是否还回答用户当前的问题、是否与其他页面形成直接竞争、是否有外部引用支撑。把这些决定写成“字数低于某值就删除”之类的规则,代价通常是误伤仍有价值的旧页面。
页面结构的调整同样如此。把多个栏目合并、改变主导航层级、重新划分主题集群,这些动作影响的是整站的理解路径,一旦批量执行,回退成本很高。合理的做法是手工确定结构,再让规则去执行结构确定后的重复部分。
还有一种容易被忽略的情况:当某项自动检查的结果突然归零,不要立刻认定问题已解决。抓取量下降、某类告警消失,也可能是抓取工具本身被限制、规则写错导致漏报,或者页面被整体移出了监控范围。先确认监控覆盖范围是否变化,再判断处理是否有效。
假设一个站点从 80 个页面扩展到 800 个页面,其中 600 个是同一模板的产品页。做法 A 是继续逐页检查标题和描述;做法 B 是抽出模板规则,批量生成并抽查。
做法 A 在前 100 个页面时还能保证质量,到 600 个时,人工检查周期会拉长到无法在内容更新前完成,结果是新页面长期带着缺失元素上线。做法 B 的前提是模板足够统一,且抽查比例足够覆盖异常;如果模板本身混乱,批量规则会把错误扩散到所有页面。
两种做法都成立的条件下,选择依据是模板一致性:模板统一时,批量处理的收益随页面数增加而上升;模板差异大时,先手工整理模板,再决定哪些部分可以批量化。这个例子只是说明比较方法,不代表任何具体站点的实际结果。
把这几项确认完,再决定哪些工作退出手工。退出之后,省下来的时间应该投向仍需要判断的部分,比如内容取舍和结构规划,而不是简单减少投入。这样调整,流程才随规模扩大而变得更稳,而不是更快地积累错误。