百度不收录：源站正常而边缘节点异常时应保留哪些证据
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /8331ddeaf7c8.html
📄
百度不收录：源站正常而边缘节点异常时应保留哪些证据
先给结论：源站返回正常、边缘节点返回异常时，最该保留的不是“百度不收录”这个结果本身，而是能证明哪个节点、在什么时间、向谁返回了什么的证据链。因为此时真正的问题往往不在源站内容，而在边缘层对百度蜘蛛的响应。保留证据的目的，是让你能判断应保留现有节点配置、改写回源策略，还是暂时退出该边缘方案，而不是凭一次抓取失败就下结论。
先分清“源站正常”是哪一种正常
“源站正常”至少有两种含义，二者对应的证据完全不同。第一种是源站直接访问正常：你用源站 IP 或内部回源地址请求，返回 200 和完整 HTML。第二种是源站对特定 UA 正常：只有当请求头是百度蜘蛛 UA 时才正常，普通浏览器请求反而被拦。这两种情况保留的证据不同，决策方向也不同。
需要保留的证据包括：
- 源站直连的响应状态码、响应头和响应体片段，注明请求时间与请求来源 IP。
- 同一时刻通过边缘节点请求的响应状态码、响应头和响应体片段。
- 两次请求使用的完整请求头，尤其是 UA、Accept-Encoding、Host 和 Cookie 字段。
- 边缘节点返回的缓存命中标识（如 Age、X-Cache 一类头部，若节点会返回）。
如果源站直连正常、边缘节点返回 403、404、5xx 或空 body，那么你保留的第一份关键证据，就是同一 URL、同一时间窗内两组响应的对照。没有这个对照，后面任何判断都缺少基准。
边缘节点异常要保留到“哪台节点、哪个时间”
边缘异常最容易被误判的地方，是把它当成全站问题。实际上很多异常只出现在部分节点、部分地区或部分回源路径上。你需要保留的证据应能回答三个问题：异常出现在哪些节点、持续了多久、是否与某个配置变更时间重合。
可保留的具体材料：
- 按节点或地区分别记录的响应结果，而不是只留一条失败记录。
- 异常开始与结束的时间戳，尽量精确到分钟，并与发布、证书更新、回源规则调整的时间对齐。
- 节点返回的错误页正文或错误码，截图之外最好保留原始响应文本。
- 若节点有日志或控制台可导出访问记录，导出包含百度蜘蛛 UA 的那部分请求。
这里有一个容易忽略的取舍：是否要为了“干净证据”先关闭缓存或回源优化。如果异常仍在持续，关闭缓存可能让源站压力上升，但能让节点行为更接近直连，便于对照；如果异常已经停止，则应优先保留现状，不要为了复现而改动配置，否则会破坏时间线证据。
日志与抓取记录：哪些字段能支撑决策
边缘节点异常时，日志的价值在于把“百度不收录”从结果倒推到请求层。你需要保留的字段至少包括：请求时间、请求 URL、请求 UA、响应状态码、响应大小、回源地址、节点标识。若日志里能看到百度蜘蛛的请求，还要注意它请求的是否是你预期的 URL 版本（带不带 www、带不带尾斜杠、是否被重定向到异常节点）。
一个假设例子：某站点源站直连返回 200，但边缘节点对百度蜘蛛 UA 返回 403，日志显示该 403 集中在两个节点、持续约 40 分钟，且与一次回源鉴权规则发布时间接近。此时保留的证据足以支持“先回滚该规则并观察”的决策，而不是去改标题或加内链。反过来，如果 403 分散在所有节点、时间跨度很长，且源站直连也偶发 403，那么问题更可能在源站或统一鉴权层，边缘节点只是放大了现象。
要说明的是，日志中百度蜘蛛请求量下降或归零，不能单独证明是边缘节点导致不收录。它还可能来自抓取配额调整、URL 被其他规则拦截、站点整体可访问性波动等。因此日志证据必须和响应对照、时间线一起看。
保留、改写还是退出：三种决策的适用前提
证据齐了之后，决策可以按前提区分，而不是按情绪区分。
- 保留现有边缘方案：异常只出现在个别节点、时间短、回滚后源站直连与节点响应恢复一致，且没有证据表明百度蜘蛛持续拿到异常响应。此时保留配置，但把异常时间窗和节点范围记录下来，作为后续对照基线。
- 改写回源或缓存策略：异常与特定 UA、特定回源路径或缓存规则相关，源站本身正常，且你能在测试环境复现“同一 URL 在节点异常、直连正常”。此时改写策略，并用同一组证据复测，确认节点响应与源站一致后再观察抓取。
- 暂时退出该边缘方案：异常覆盖多数节点、持续时间长、无法在合理时间内定位，或节点返回的异常会直接阻止百度蜘蛛获取内容。此时优先恢复源站直连可访问，再保留退出前后的响应对照，作为后续是否重新接入的依据。
三种选择并非互斥，但顺序上应先保证百度蜘蛛能拿到与源站一致的内容，再谈优化。若你选择退出，下一步动作是核对源站直连在退出后是否稳定，而不是立刻提交或反复改版。
动作与结果如何影响下一步
一个可执行的动作是：在异常时间窗内，分别用源站直连和边缘节点请求同一 URL，保存两组响应，再导出该时间窗内百度蜘蛛 UA 的节点日志。这个动作的结果会直接决定下一步——如果两组响应一致且日志无异常，说明边缘层可能不是主因，应转向检查其他拦截或内容层；如果两组响应不一致且日志集中在少数节点，则应先处理节点或回源规则，再复测。
最后提醒两点适用条件：robots.txt 的抓取限制不等于可靠的索引移除，站点地图也不保证收录；HTTPS 同样不保证安全无漏洞或排名。边缘节点异常的证据保留，解决的是“百度蜘蛛到底拿到了什么”这个问题，而不是替代内容质量、站点结构和抓取配额等其它因素。把证据链留完整，你才能在保留、改写和退出之间做出可复查的选择。
