【脚本分享】自动检测并封禁恶意爬虫（基于 Nginx 日志）

傲来云

随着越来越多的网站上线，不少站长发现，“带宽用得飞快，访问记录全是非人类”——这些基本都是恶意爬虫在搞鬼。
本篇分享一个我自己平时在服务器用的小脚本，用来“分析 Nginx access.log，自动找出高频 IP 并通过防火墙封禁”。部署简单、效果立竿见影。

脚本原理简介：
统计一分钟内请求数最多的 IP
排除常见搜索引擎蜘蛛
超过阈值的 IP 自动封禁（firewalld）

脚本内容（适配 CentOS 7/8、Nginx 日志默认格式）

1. #!/bin/bash
   
2. 
   
3. # 配置项
   
4. LOG_FILE="/www/wwwlogs/yourdomain.com_access.log"
   
5. WHITELIST="baidu|google|bing|yisouspider|sogou"
   
6. THRESHOLD=100        # 每分钟请求次数阈值
   
7. BAN_TIME=3600        # 封禁时长，单位秒
   
8. TMP_FILE="/tmp/bad_ips.txt"
   
9. 
   
10. # 统计最近1分钟的访问记录
    
11. tail -n 10000 "$LOG_FILE" | grep "$(date +"%d/%b/%Y:%H:%M" -d "1 minute ago")" | awk '{print $1}' | sort | uniq -c | sort -nr > "$TMP_FILE"
    
12. 
    
13. while read line; do
    
14.     count=$(echo $line | awk '{print $1}')
    
15.     ip=$(echo $line | awk '{print $2}')
    
16. 
    
17.     # 排除常见搜索引擎
    
18.     UA=$(grep "$ip" "$LOG_FILE" | tail -n 1 | grep -Eio "$WHITELIST")
    
19.     if [[ -n "$UA" ]]; then
    
20.         continue
    
21.     fi
    
22. 
    
23.     if [[ $count -gt $THRESHOLD ]]; then
    
24.         echo "发现恶意IP：$ip，请求数：$count，已封禁"
    
25.         firewall-cmd --permanent --add-rich-rule="rule family='ipv4' source address='$ip' reject"
    
26.     fi
    
27. done < "$TMP_FILE"
    
28. 
    
29. # 重载防火墙规则
    
30. firewall-cmd --reload

复制代码

使用方式：
1. 将上述脚本保存为 `/usr/local/bin/ban_bad_bot.sh`
2. 赋予执行权限：

1. chmod +x /usr/local/bin/ban_bad_bot.sh

复制代码

3. 添加定时任务（每分钟执行一次）：

1. crontab -e

复制代码

添加：

1. * * * * * /usr/local/bin/ban_bad_bot.sh >> /var/log/ban_bot.log 2>&1

复制代码

效果参考：
脚本会自动根据日志检测“异常高频访问的 IP”，并通过 `firewalld` 添加拒绝访问规则。你可以在：

1. firewall-cmd --list-all

复制代码

看到已经封禁的 IP。

温馨提醒：
如果你用的是 “宝塔面板”，也可以把该脚本加入“计划任务”中，设为每分钟执行一次。
不推荐在高峰期将阈值设置过低，避免误封正常用户。
封禁方式也可以换成 `iptables` 或 `fail2ban` 配合使用。

总结
这是一个简单实用的小脚本，适合中小网站定时防护用。你也可以在日志中加入 UA 筛选、路径过滤等进一步优化。
如果你还用过更高级的方法，比如接入 WAF、结合 CDN 限频，也欢迎在评论区交流。