先给结论:不要因为“排除了内部流量”就相信剩余数据一定干净,也不要因为日志里出现熟悉的办公网出口就整段删除。正确顺序是先把“内部”定义成可复核的证据链,再在过滤前后各留一份对照样本,最后用独立来源交叉验证被删掉的那部分是否真的不含真实访问。下面用一个假设情境把决策过程写清楚。
假设某站点在排查异常跳转时,发现日志里有一批来自公司出口IP的访问,路径集中在几个被挂马检测工具标记过的页面。运维的第一反应是把整个出口网段加进过滤规则,认为这些访问都是自己人测试留下的。这个动作看起来合理,但它把三类不同的东西混在了一起:
如果只按网段一刀切,第二类和第三类里混入的真实访问会被一起删掉,而你可能永远看不到。所以第一步不是删,而是给每条要过滤的记录打上可追溯的标签:来源、时间、请求方法、命中页面、是否有会话延续。只有标签能解释“为什么它算内部”,过滤才有依据。
在动手排除之前,导出两份数据:一份是完整原始日志,一份是准备被过滤掉的候选集合。候选集合要保留原始字段,不要只留计数。这样做的实际结果是,后续任何异常都能回到原始记录核对,而不是只能看到被删后的干净结果。
接下来做一个可区分的检查:把候选集合按来源分组,看每组是否只出现在固定页面、固定时间窗、固定请求头。如果某一组来源同时访问了内容页、停留时间分布正常、还带有站内跳转,那它更可能是真实访问而不是探针。反过来,如果某组来源请求间隔高度规律、只命中检测特征页、没有后续行为,才更接近机器行为。
这一步的动作会直接影响下一步:候选集合里被判定为“疑似真实”的记录,不应进入过滤规则,而应单独观察一段时间,确认它是否继续产生正常行为。
站内日志、搜索引擎报告和第三方估算流量的口径不同,不能互相替代,但可以互相提示。假设站内统计显示某天访问量下降,而搜索引擎报告里的点击量没有同步下降,那么下降可能来自站内过滤,而不是真实流量消失。反过来,如果站内和外部报告同时下降,才更需要怀疑过滤误删或采集断点。
这里要避免一个常见误判:请求量或某项统计归零,并不能单独证明过滤正确。它还可能来自日志轮转、采集脚本中断、字段解析失败或时间窗口错位。要排除这些解释,至少核对三件事:
只有这三项都指向过滤动作,才可以把误删作为主要假设继续追查。
面对“先过滤再观察”和“先观察再过滤”,选择取决于你能否承担漏判的代价。
如果两种条件同时存在,优先保留原始日志并采用灰度过滤:先只过滤证据最充分的那一小段来源,观察一个完整业务周期后再扩大范围。这样做的结果是把误删风险限制在可回滚的范围内,而不是一次性删掉整个网段。
整个判断的核心不是找到一个“正确”的过滤比例,而是让每一步都能被复核。具体可以按这个顺序执行:
假设情境中,运维最终发现被删记录里有一小部分来自合作方在办公网的正常浏览,这部分被移出过滤后,站内统计的下降幅度明显收窄,说明此前的过滤确实误删了真实访问。这个结果不是靠单一指标得出的,而是靠原始日志、行为特征和时间点对照共同支撑。排除内部流量本身没有问题,问题在于排除前后是否留下了能证明“删对了”的证据。