宝塔怎么屏蔽辣鸡蜘蛛或特殊的user_agent的访问

2020年10月18日宝塔怎么屏蔽辣鸡蜘蛛或特殊的user_agent的访问已关闭评论 33
腾讯云

最近看日志会看到一些辣鸡蜘蛛,疯狂的抓取网站,导致CPU上升100%,打开网站速度就会很慢,当然这样辣鸡蜘蛛除了消耗网站流量和占用CPU,根本没啥用的。

宝塔怎么屏蔽辣鸡蜘蛛或特殊的user_agent的访问

下面就把这种辣鸡蜘蛛给屏蔽了,先看一下 nginx 日志中这些爬虫的请求记录。

每 10 个请求一换 IP 请求头都为 "Scrapy/1.7.3 (+https://scrapy.org)"

所以通过 IP 规则来屏蔽是不可能了,可以用 User Agent 匹配规则的方式来屏蔽这些爬虫。

Nginx 配置,顺便把 Yisou 的爬虫屏蔽了。

if ($http_user_agent ~* (YisouSpider|Scrapy) ) {
    return 410;
}

另外,还可以加一些针对特殊的user_agent的访问

if ($http_user_agent ~ "Mozilla/4.0\ \(compatible;\ MSIE\ 6.0;\ Windows\ NT\ 5.1;\ SV1;\ .NET\ CLR\ 1.1.4322;\ .NET\ CLR\ 2.0.50727\)") { return 404; }

宝塔添加路径:网站-设置-配置文件

特别声明:以上内容来源于编辑整理发布,如有不妥之处,请与我方联系删除处理。
  • 地铁红包
  • 支付宝扫一扫领红包
  • weinxin
  • 天天送红包
  • 支付宝扫一扫领红包
  • weinxin
糖果主机
宝塔二级目录 WordPress 伪静态 不破不立

宝塔二级目录 WordPress 伪静态

今天搞了一个二级目录伪静态,一开始都不知道咋搞,现在才知道哈!网上很多教程都是没说明白,就有一个代码,对于新手来说谁不知道放哪里啊! 首先找到宝塔的网站伪静态文件,路径如下: /www/server/...
头疼啊!WordPress后台打开占 CPU 啊 不破不立

头疼啊!WordPress后台打开占 CPU 啊

最近发现有个WordPress站,打开后台慢的一批,一看CPU到100%,不知道怎么回事啊!以前倒是没有这种情况,内存的话还有大半空闲,只能猜测是文章太多造成的。 前台倒是没什么影响,只要不打开后台的...
阿里云注册域名所分配的两注册商有区别吗 不破不立

阿里云注册域名所分配的两注册商有区别吗

index.html大佬:在阿里云注册域名 会出现两个注册商 一个是 Alibaba Cloud Computing (Beijing) Co., Ltd.(阿里巴巴云计算(北京)有限公司) 另一个是...