结论有前提:当页面数量、栏目层级和更新频率已经超过一个人凭记忆维护的限度,内链维护、索引状态巡检、标题模板一致性检查、失效链接处理和结构化数据校验就不适合继续手工做,应转为脚本或规则驱动;但如果站点只有几十个页面、每次改动都能人工复核,手工反而更省成本。下面给出判断条件和取舍依据。
规模扩大后,真正变贵的不是“做一次”的时间,而是每次改版、每次上新都要重复做一遍的核对工作。可以用一个简单标准判断:这项工作是否需要在每个页面上重复执行,且结果必须保持一致。若是,手工的出错概率会随页面数线性上升。
这些工作的共同点是规则明确、可批量执行。规则明确的工作交给脚本,人只负责定义规则和处理异常。
选择手工还是规则化,不取决于“规模大不大”这个模糊判断,而取决于三个具体条件。
假设一个站点从 80 个页面扩展到 600 个页面,其中产品页由模板批量生成。此时继续手工检查每个产品页的标题和描述,通常只能覆盖抽查样本;改为按模板校验变量替换结果,再对异常页面单独处理,覆盖面更完整。这里的关键不是工具本身,而是把“逐页检查”换成“按规则检查、按异常处理”。
反例同样成立:如果站点页面少、内容高度定制、每个页面的标题和内链都需要结合具体语境判断,强行规则化会制造更多错误。例如一个只有 30 个深度文章的站点,编辑手动决定每篇文章的相关推荐,往往比自动推荐更准确,因为自动规则难以理解语义相关性。
另一个反例是改动本身处于探索阶段。当标题写法、栏目结构还在频繁试错时,过早固化规则会把临时方案锁死,后续调整反而更麻烦。此时手工处理少量页面、快速验证方向,是更合理的选择。判断标准是:这项工作是否已经形成稳定规则。规则稳定后再自动化,收益才明确。
不要一次性把所有手工工作都替换掉。先选一项规则最清晰、出错影响最直接的工作开始,例如失效链接检查或标题重复检查。具体动作是:先导出当前全站页面清单,标注每项检查的规则和预期结果,再对一小部分页面执行规则化处理,对比处理前后的抓取与索引数据。
这个动作的结果会直接影响下一步:如果处理后异常页面数量明显下降,且没有引入新的抓取或索引问题,就可以把同类规则扩展到其他模板;如果处理后异常数量没有变化,说明问题不在执行方式,而在规则定义本身,此时应先修正规则,而不是继续扩大自动化范围。抓取量或索引量暂时没有变化,不能单独证明处理正确,也可能是抓取预算、内容质量或外部链接等因素在同时起作用。
更实际的做法是给每类工作设一条分界线:需要逐页判断语义的,保留人工;需要全站保持一致的,转为规则化。分界线可以根据页面数量和模板数量定期复核,而不是一次定死。当站点规模再次扩大时,重新评估哪些工作已经具备规则化条件,比一次性追求全自动更稳妥。