网站规模扩大后,最先不适合继续手工做的不是“选词”,而是跨页面的词级归并、状态同步和退出清理。手工在几十个页面时还能靠记忆维持,到了几百上千个页面,真正的成本来自重复判断和遗漏,而不是单次操作太慢。判断标准很简单:这项工作是否需要对每个页面做相同规则的动作,并且结果要和其他页面保持一致。如果是,就应该转为规则驱动;如果每个页面的取舍都依赖独特业务判断,手工仍然合理。
规则型工作的特征是输入明确、动作可复制、结果可校验。例如把已确认无搜索需求且无站内转化路径的词从词库中标记为退出,或把同一实体的不同写法归并到同一主词。这类工作手工做时,错误不会立刻暴露,而是以“某个页面还在用旧词、某个栏目已经换了主词”的形式积累,最后表现为站内自相竞争或内容重复。
判断型工作的特征是每个词的去留取决于业务阶段、利润结构或内容供给能力。例如一个词流量可观但转化周期很长,是否保留取决于当前现金流安排,而不是词库规则本身。这类工作不适合交给固定规则,手工或人工评审反而更稳。
可以用一个简单测试区分:如果把这项工作写成一条if...then...规则,是否在八成以上页面都成立?成立就归入规则型,不成立就归入判断型。这个测试不追求精确,只用来决定先动哪一批。
当词库条目数量超过一个人能在一次工作周期内逐条核对的范围,继续手工维护会出现三种典型症状:同一主词在不同栏目被重复分配;退出词只删了页面标题,没删内链和站内搜索入口;新词加入后没有回写到已有页面的映射表。
此时应把“归并”和“状态标记”先转为规则驱动。实施动作是:先导出一份当前词库,给每个词补两个字段——主词归属和状态(保留、观察、退出)。然后用脚本或表格公式检查是否存在同一主词对应多个状态,或同一页面被分配多个主词。结果会直接告诉你哪些冲突必须人工裁决,哪些可以按规则批量处理。下一步不是立刻清理,而是先把冲突清单交给内容负责人确认,因为批量清理会把“本来打算保留但字段填错”的词一起删掉。
例外:如果词库虽然条目多,但每个词只服务一个独立页面且互不交叉,手工维护的冲突成本很低,可以暂缓规则化。这种情况常见于页面之间主题差异极大的站群结构,但要注意内链和导航仍可能制造交叉。
退出场景比新增场景更容易被手工拖住。手工退出通常只做了“删页面”或“改标题”,但词库里的词、内链、导航、站点地图和站内搜索索引仍然指向旧内容。结果是搜索引擎抓取到的页面和词库记录不一致,而人工核对时又因为页面已经不存在而漏掉。
这时应把“退出”拆成可执行的动作序列,而不是一次性删除。动作顺序建议是:先把词库中对应词标记为退出并记录退出原因;再检查该词是否被其他保留页面作为主词或辅助词引用;然后处理内链和导航;最后才处理页面本身。每一步的结果决定下一步:如果发现该词仍被高价值页面引用,就应改为“转移主词”而不是直接退出。
一个假设例子:某站有 500 个页面,其中 80 个页面共用 20 个主词,另有 30 个词只出现在已下线的旧栏目中。手工处理时容易先把旧栏目页面删掉,之后才发现 12 个保留页面还在内链指向这些已删页面。规则驱动的做法是先跑一遍内链引用检查,把“被引用但已标记退出”的词单独列出,再决定是改链还是保留页面。这个顺序的差别在于,先删页面会把可修复的引用变成死链,先查引用则能把退出变成一次可控的迁移。
不是所有工作都适合规则化。以下三类在规模扩大后仍建议保留人工判断,只是要控制频率:
保留手工不等于逐条操作。可以把人工动作集中在“裁决”和“复盘”两个节点,中间的执行和校验交给规则。这样既不会因为规模扩大而失去控制,也不会把需要业务判断的事交给脚本。
如果只能先做一件事,建议先建立词库的“主词归属 + 状态”两个字段,并跑一次冲突检查。这个动作的结果会直接决定后续顺序:冲突集中在少数主词,说明问题在归并规则;冲突分散在大量页面,说明问题在初始分配;退出词大量被保留页面引用,说明问题在退出流程而不是词库本身。三种结果对应三种不同的下一步,而不是统一进入批量清理。
需要说明的是,抓取量下降、索引量归零或某个词不再出现在站内搜索中,都不能单独证明退出处理正确。它们也可能是抓取预算调整、页面改版或站内搜索索引重建的副产物。判断退出是否有效,应同时看保留页面的词级归属是否清晰、内链是否还有指向已退出词的路径,以及退出词是否仍在其他页面的标题或正文中被当作主词使用。
规模扩大后,手工真正做不了的不是“想词”,而是维持词与页面之间的一致性。把一致性交给规则,把取舍留给判断,是词库建设在扩张阶段最实际的取舍。