死链接检测工具：页面内容相同但响应头不同会影响哪些判断
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ShapBot/0.1.0
🔗 /f41666881ca6.html
📄
死链接检测工具：页面内容相同但响应头不同会影响哪些判断
同样一段正文，如果两个地址返回的响应头不同，死链接检测工具给出的结论可能完全不同。最需要先分清的是：内容一致只说明“用户看到的可能一样”，而响应头决定的是“机器应当把这次请求当成什么”。当状态码、Content-Type、Content-Language、Vary、Location 或缓存指令出现差异时，保留、改写还是退出应以“哪一份响应更符合真实资源身份”为准，而不是以正文是否相同为准。
先看状态码差异：决定这个地址是否还算有效
两个地址正文相同，一个返回 200，另一个返回 404、410 或 301，检测工具通常会给出不同结论。404 和 410 都表示资源不可用，但 410 更明确地表达“已移除”；如果内容其实仍要对外提供，这种响应头就是误报，不能因为正文相同就把它当正常页面保留。
更常见的是 200 与 301 并存。此时应核对 Location 指向的最终地址是否与当前地址等价。若最终地址才是规范版本，保留 301 是合理的；若两个地址都返回 200 且正文相同，检测工具可能把它们都记为可访问，但后续判断规范版本时仍需另行处理。动作上，先记录每个地址的状态码、Location 和最终落地地址，再决定是否把旧地址改为跳转或退出索引。
再看内容类型与语言：相同正文可能被当成不同资源
响应头里的 Content-Type 会改变工具对页面的解析方式。正文相同，但一个声明为 text/html，另一个声明为 application/json 或 text/plain，检测工具可能只把前者当页面处理，后者则可能被当成接口或纯文本。如果站点实际希望它作为页面参与链接检查，错误的 Content-Type 会让工具漏掉链接或误判为不可解析。
Content-Language 也会影响判断。两个地址正文相同、语言声明不同，工具可能把它们视为面向不同语言用户的版本。此时“保留两份”在有多语言需求时成立；如果只是同一语言的重复地址，则应考虑改写为一份规范响应，或让其中一份退出。判断依据不是正文，而是语言声明是否与页面实际服务的人群一致。
Vary 与缓存指令：决定不同请求是否应得到同一结果
Vary 响应头会影响缓存和检测工具对“同一地址是否稳定”的判断。假设两个地址正文相同，一个带 Vary: Accept-Encoding，另一个带 Vary: User-Agent，后者意味着同一地址可能因请求头不同而返回不同内容。检测工具若用不同请求头抓取，得到的响应头就可能不一致，进而把同一资源记成多个结果。
缓存指令同样会干扰判断。若一个地址返回可长期缓存，另一个返回禁止缓存，工具再次抓取时可能拿到旧结果或每次都拿到新结果。此时应先区分“响应头确实不同”还是“抓取时命中了不同缓存状态”。动作上，可固定请求头并重复抓取同一地址，观察状态码和关键响应头是否稳定；若不稳定，就不宜直接把差异归因于页面本身。
把分歧转成可核对的记录，再决定保留、改写或退出
多个角色对同一事实有不同理解时，争论“内容明明一样”通常没有结果。更有效的做法是把分歧写成一张可核对的表：地址、状态码、Location、Content-Type、Content-Language、Vary、缓存指令、抓取时间和请求头。这样每个人看到的是同一组字段，而不是各自的印象。
- 保留：两个地址都返回 200，内容类型和语言声明都与实际用途一致，且确实需要两个入口时适用。
- 改写：正文相同但响应头声明错误，例如状态码写成 404、内容类型写成纯文本时，先修正响应头，再重新检测。
- 退出：地址已不再对外提供，或只是重复入口且没有独立用途时，用 301 指向规范地址或返回 410，并确认检测工具不再把它当作有效页面。
需要提醒的是，robots.txt 的抓取限制不等于可靠的索引移除，站点地图也不保证收录。因此，即使某个地址被限制抓取或写进站点地图，也不能单凭这一点判断它应当保留还是退出；响应头差异仍要回到实际资源身份来核对。
一个可复用的判断顺序
遇到“正文相同、响应头不同”时，可以按以下顺序处理：先确认状态码是否一致，再确认 Location 是否指向等价地址，然后核对 Content-Type 与 Content-Language 是否符合真实用途，最后检查 Vary 和缓存指令是否让同一地址产生不稳定结果。每一步都记录动作和结果，下一步只依据已核对的事实推进。
假设某地址正文与规范页相同，但它返回 200 且 Content-Type 为 text/plain，检测工具可能不解析其中的链接；把它改为 text/html 后重新抓取，若链接开始被识别，说明此前的问题在响应头而非正文。这个例子只用于说明比较方法，不代表任何真实站点的检测结果。
归根结底，死链接检测工具判断的是响应，不是肉眼看到的文字。内容相同只能作为线索，响应头才决定这个地址应被保留、改写还是退出；把关键字段固定下来逐项核对，才能让不同角色对同一事实形成可验证的共识。
