当前位置:首页 - Linux

Nginx配置禁止某些ip访问,Nginx IP黑名单如何配置

作者:高景洋 日期:2020-07-19 22:11:40 浏览次数:2768

自古以来,爬虫 与 反爬虫 就是一个自相矛盾的问题。

A:我什么样的网站都能爬,我牛X~

B:你吹牛(A后面那个字母), 你爬我的试试~


作为,一个专业的爬虫工作人员,请你在对别人的网站进行爬取时,请随机一下 UserAgent,这既是对你自己的尊重,又是对对手的尊重。


下边我们进入正题,说一下,作为一个专业的爬虫选手,如何通过Nginx 进行反爬~


一、重要的事情说三遍,黑名单,黑名单,黑名单~

二、下面来说一下步骤

    1、在nginx的conf 目录下,新建 blocksip.conf 文件 (touch blocksip.conf)

    2、禁止某一个具体ip时,在   blocksip.conf 中添加 ,切记以分号结尾

        deny 123.123.123.123;

    3、允许或禁止所有ip

        # block all ips 
        deny all; 
      # allow all ips 
        allow all; 

    4、网段封禁

        #封整个段即从123.0.0.1到123.255.255.254的命令
        deny 123.0.0.0/8
      #封IP段即从123.45.0.1到123.45.255.254的命令
        deny 124.45.0.0/16
      #封IP段即从123.45.6.1到123.45.6.254的命令是
        deny 123.45.6.0/24

    5、在nginx.conf 的 http{} 代码段中添加,include blocksip.conf;

    6、重启nginx 

        cd /usr/local/nginx/sbin/
        ./nginx -s reload        

本文永久性链接:
<a href="http://r4.com.cn/art139.aspx">Nginx配置禁止某些ip访问,Nginx IP黑名单如何配置</a>
当前header:Host: r4.com.cn X-Host1: r4.com.cn X-Host2: r4.com.cn X-Host3: 127.0.0.1:8080 X-Forwarded-For: 44.210.83.132 X-Real-Ip: 44.210.83.132 X-Domain: r4.com.cn X-Request: GET /art139.aspx HTTP/1.1 X-Request-Uri: /art139.aspx Connection: close User-Agent: CCBot/2.0 (https://commoncrawl.org/faq/) Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language: en-US,en;q=0.5 Accept-Encoding: br,gzip