恶意爬虫与异常请求的边缘拦截，重点不是看到访问频繁就一律封禁，而是在请求到达源站前，结合路径、频率和行为特征区分自动化滥用与正常访问。规则过松会放任采集和资源消耗，过严则可能挡住搜索引擎、监控探测或正常用户。可靠做法是先观察，再分层处理。
先找出需要保护的请求
先从边缘平台的请求日志中梳理常见路径和访问模式。重点查看同一来源短时间内重复请求、访问不存在资源的比例、请求是否集中在少数页面，以及请求头和访问顺序是否异常。单一特征不能直接证明恶意：共享出口可能让许多用户使用同一地址，自动化测试也可能产生规律流量。
区分访问目的也很重要。Googlebot 等搜索引擎爬虫可能需要抓取公开页面；搜索引擎提供的爬虫验证机制和官方说明，可以帮助核对身份。对无法确认身份的爬虫，不要仅凭自报名称放行。可结合访问速率、路径范围和验证结果判断。
按风险逐层配置边缘规则
从低风险限制开始
先配置速率限制，对短时间内集中访问同一路径或同一类资源的请求减速、暂时拦截。阈值要按正常业务峰值调整：低流量站点可从每个来源每分钟数十次作为观察起点；高并发页面或共享网络场景则需提高门槛，并按路径分别统计。这只是调试范围，不是通用标准。优先使用短暂限制并记录命中原因，避免直接永久封禁。
为异常行为增加验证
对反复触发限制、请求顺序异常或疑似伪装的访问，可使用验证挑战，而不是立刻拒绝所有请求。挑战适合有一定风险但尚无充分证据的流量；确认违反规则后，再返回拒绝响应。对于公开的静态资源和重要业务流程，应分别制定规则，避免一个全站阈值造成连带影响。
可在托管防火墙规则中检查常见攻击特征；自行维护规则时，ModSecurity 的 OWASP Core Rule Set（CRS）提供了一组常用检测规则。两者都需要结合日志复核：规则命中不等于请求必然恶意，部署前应了解规则动作、排除项和误报处理方式。
按步骤上线并校验结果
- 建立基线：按路径统计正常时段与高峰时段的请求量、响应状态和来源分布，标记搜索引擎、健康检查等已知流量。
- 先记录不拦截：以观察模式运行候选规则，查看命中样本，确认没有把正常访问模式误判为异常。
- 小范围启用：先对高风险路径或少量流量执行限制，优先选择减速、挑战等可恢复动作，再视结果扩大范围。
- 持续复核：检查源站请求量是否下降、误拦截是否增加，并为规则设置负责人、调整记录和回滚办法。
恶意爬虫与异常请求的边缘拦截应当形成闭环：发现异常、施加合适动作、复核效果，再调整条件。规则变更后若正常请求明显受阻，应及时回退或收窄匹配范围。
常见问题
robots.txt 能阻止恶意爬虫吗？
不能强制阻止。robots.txt 用于表达抓取意愿，守规矩的爬虫可能遵循，但恶意程序可以忽略，因此不能替代边缘控制。
只按来源封禁够不够？
通常不够。来源可能变化或被多人共享，应结合路径、频率和行为判断；封禁范围越大，误伤风险越高。
应该直接拦截所有自动化访问吗？
不建议。搜索引擎抓取、监控和自动化测试都可能是正常需求。应按身份可信度与访问行为分类处理。
把观察、分级处置和持续复核结合起来，才能让恶意爬虫与异常请求的边缘拦截既有效，也不轻易影响正常服务。