当同一批内容同时挂在 www、裸域和若干历史域名上,最省事的做法是给所有域名配同一套站点地图和同一份 robots.txt,靠 canonical 指向主域名。小样本下这通常看不出问题,但规模扩大后会出现抓取分布异常、日志里同一页面被多个主机名反复请求、以及搜索端展示域名与预期不一致。要说明各自用途,关键不是再补一条 canonical,而是先判断这些域名是“同一站点的多个入口”还是“承担不同角色的独立站点”,两者的配置策略完全不同。
规模化后最常见的矛盾是:主域名收录正常,但历史域名仍在被持续抓取,且抓取量不随 canonical 生效而下降。对此至少有两种成立条件不同的解释。
解释一:这些域名本质上是同一站点的镜像入口。如果它们解析到同一套后端、返回完全相同的 HTML、共享同一份 URL 结构,那么它们只是入口冗余。此时各域名的用途应统一描述为“主域名的等价入口”,配置目标是让搜索端尽快收敛到主域名,而不是让每个域名都独立参与索引。
解释二:这些域名承担不同用途。例如裸域用于跳转、旧域名用于承接存量外链、某个子域用于独立业务或不同语言版本。这种情况下它们不是冗余入口,强行用同一份 canonical 和同一份站点地图会掩盖真实用途,导致本该保留的页面被错误合并。
区分这两种解释,不能只看 canonical 标签是否存在。canonical 是建议而非强制,搜索端可能忽略它。更可靠的区分证据有三类:一是服务器日志中不同主机名的请求是否指向同一批 URL 路径;二是各域名返回的 HTML 是否逐字节一致(含内链的绝对地址);三是外链和流量是否集中指向其中一个域名。如果日志显示某历史域名的请求路径与主域名高度重合、HTML 一致、外链稀少,倾向解释一;如果路径集合不同、HTML 中内链指向自身域名、外链有独立来源,倾向解释二。
说明用途不是写一段介绍文字,而是给每个域名定一个可验证的角色,并让配置与该角色一致。可行做法是先建一张域名清单,每个域名只填三项:角色、目标主机名、是否允许被抓取。角色从以下几个里选一个,不要含糊。
角色定错会直接改变下一步动作。若把“独立站点”误判为“等价入口”,你会给它加 canonical 指向主域名,结果本该独立收录的页面被合并;若把“等价入口”误判为“独立站点”,你会为它单独提交站点地图,等于主动邀请搜索端抓取重复内容。
假设某站点有 www.example.com、example.com 和 old.example.com 三个主机名,三者返回相同 HTML,但 old.example.com 有若干外部链接指向它。
如果按解释一处理,把 example.com 和 old.example.com 都 301 到 www.example.com,外链权重会随跳转传递,这是常见取舍。但要注意:301 之后 old.example.com 上原有的独立路径若不存在于主域名,跳转会落到 404,等于丢掉那部分内容。因此动作应是先比对三个域名的 URL 路径集合,只对能一一对应的路径做 301,对只在旧域名存在的路径先迁移或保留。
如果按解释二处理,则要接受“同一内容存在多个可索引主机名”的代价,并分别提交站点地图、分别写 robots.txt。这个取舍只在旧域名确有独立流量或独立业务时才划算;若只是历史遗留且无独立来源,维护多套配置的成本通常高于收益。
这个例子的边界在于:它假设三个域名解析到同一后端。若其中一个域名解析到不同服务器、返回不同 HTML,就不能套用上述任何一条,必须先按独立站点处理。
说明用途之后,配置动作本身也有容易误判的地方。
Disallow: / 只阻止抓取,已索引的 URL 仍可能出现在结果里。要移除索引需要配合 301 或 noindex,且 noindex 页面必须允许被抓取才能被读到。还有一个常见误判:把“抓取量下降”当作处理正确的证据。抓取量归零也可能是因为 robots.txt 误封、DNS 解析异常或服务器返回 5xx,这些都与用途说明无关。要确认收敛是否按预期发生,应同时看日志中的状态码分布和索引状态,而不是只看请求数量。若日志显示 301 比例上升且目标主机名抓取稳定,才更接近预期结果。
最后一步是让每个域名的用途可被他人复查。可行做法是在配置仓库或运维文档里为每个域名记录:角色、目标主机名、生效的跳转规则、站点地图提交位置、最近一次核对日期。当出现抓取异常时,先对照这份记录判断是配置未生效还是角色判断本身需要修改。动作的结果会直接影响下一步:如果记录显示某域名角色为“等价入口”但日志中它仍返回 200 且路径与主域名一致,说明 301 未覆盖全部路径,应补跳转规则;如果记录显示角色为“独立站点”却与主域名 HTML 一致,说明角色标注有误,应先修正角色再决定是否合并。
这套记录不承诺收录或排名结果,它只保证当多个域名承载相似内容时,每个域名的用途有明确依据,且配置与依据之间可以被逐项核对。