死链检测，源站正常而边缘节点异常时应保留哪些证据
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /204b70520b76.html
📄
死链检测，源站正常而边缘节点异常时应保留哪些证据
先给结论：源站返回正常而边缘节点报错时，最该保留的是能区分“谁在什么位置看到什么”的原始记录，而不是汇总后的结论。至少同时留存源站响应、边缘响应、请求标识与时间戳四类证据，并保证它们能按同一次请求对齐。只保留其中一侧，后续无论找运维、CDN 服务商还是搜索引擎支持，都很难把分歧收敛成可核对的项目。
为什么源站与边缘的结论会同时“成立”
源站正常，指的是请求打到源站时返回了预期的状态码和内容；边缘异常，指的是请求在边缘节点被拦截、缓存了错误响应、或回源失败后返回了另一套结果。这两件事可以同时为真，因为它们发生在链路的不同位置。
常见的原因包括：边缘缓存里存着一份早先的 404 或 5xx；回源时的 Host、协议或路径被改写，导致源站收到的是另一个请求；边缘节点的安全策略拦截了特定 UA 或 IP；以及源站只在部分路径上正常，而检测脚本恰好命中了正常路径。这些原因指向不同的处理动作，所以在定性之前，证据必须保留到能区分它们为止。
必须保留的四类原始证据
把下面四类记录按同一次请求对齐，是后续所有判断的基础。
- 源站侧响应：直接回源（绕过边缘）请求同一 URL，记录状态码、响应头、响应体前若干字节、以及请求发出的时间。响应头里的缓存相关字段和回源标识尤其重要。
- 边缘侧响应：通过边缘访问同一 URL，记录同样的字段，外加边缘返回的诊断头（如缓存命中状态、节点标识、请求 ID）。
- 请求标识：能把这几次请求关联起来的 ID、时间戳到秒、以及完整 URL（含查询串）。缺少可对齐的标识，两侧记录就只是两份互不相干的快照。
- 环境信息：发起请求的位置、使用的 UA、是否带 Cookie、是否走 HTTPS。边缘行为常因这些条件不同而不同。
一个可操作的动作是：对同一 URL 在短时间内分别发起直连源站和经边缘的请求，把两次的完整响应头与请求 ID 一起存档。这个动作的结果会直接决定下一步——如果两侧请求 ID 能对上而响应不同，问题基本落在边缘处理环节；如果对不上，说明请求在到达源站前就被改写或拦截，需要先查回源配置。
保留、改写还是退出：三种取舍的适用前提
证据到手后，通常面临三种处理方向，它们成立的条件并不相同。
保留现状：适用于边缘异常只出现在少数节点、且源站内容确实正确的情况。此时可以先不动线上配置，只把证据固定下来，观察异常是否随时间收敛。前提是你能确认受影响的 URL 范围有限，并且异常没有扩散迹象。
改写配置：适用于能定位到具体原因的情况，例如缓存了错误响应、回源规则写错、或安全策略误伤。改写前必须先把原始配置和原始响应存档，否则改完就失去了对照基准，也无法证明改动解决了问题。改写的动作应一次只动一个变量，改完立刻用同样的方法复测并留存新证据。
退出或回滚：适用于改动后异常扩大、或无法在可接受时间内定位原因的情况。回滚的价值在于把状态恢复到已知可对照的版本，而不是承认失败。回滚同样要记录回滚前后的响应，作为下一轮排查的起点。
这三种方向不是必须全部走一遍。多数情况下，先保留证据、再判断是否需要改写，比直接动手更省事。
一个假设例子：怎样用证据把分歧变小
假设某次死链检测中，监控工具报告某栏目页返回 404，而手动在浏览器打开却正常，运维坚称源站没问题。此时如果只争论“到底坏没坏”，很难推进。
换成证据对齐：分别记录直连源站和经边缘的响应头，发现源站返回 200，边缘返回 404 且带缓存命中标记。这就把问题从“页面是否失效”缩小为“边缘缓存了一份错误响应”。下一步动作是清理该 URL 的边缘缓存，然后用同一方法复测并留存新记录。如果清理后边缘恢复 200，说明原因确在缓存；如果仍是 404，则要转向回源规则检查。这个例子中的数字和状态码仅用于说明比较方法，不代表任何真实项目的观测结果。
哪些现象不能单独当作结论
请求量或抓取量归零、某个检测工具突然全部报错，这些现象本身不足以证明处理正确。它们还有别的合理解释：检测脚本自身的网络出问题、UA 被临时拦截、采样时间窗恰好错开、或者上游监控只覆盖了部分节点。把这类现象当作唯一依据，容易在原因未明时就改配置，反而引入新问题。
同理，用 robots.txt 限制抓取并不等于可靠的索引移除，站点地图也不保证收录。这些手段和死链本身是不同层面的问题，不应混在同一轮处理里当作证据。不同搜索引擎对同一状态码和缓存行为的处理也可能不同，涉及具体平台时需要分别核查，而不是用一次观测推断全部。
证据保留的核心不是收集得多，而是让不同角色看到的是同一份可对齐的记录。当分歧能被还原成“谁在哪个位置、什么时间、收到了什么响应”，讨论就从立场之争变成了可以逐项核对的项目。
