nginx针对爬虫进行限速配置

  • A+
所属分类:Nginx

网络爬虫一方面可以给网站带来一定的流量,便于搜索引擎收录,利于用户搜素,同时也会给服务器带来一定的压力,在网络爬虫对网站内容进行收录时,会引起服务器负载高涨。有没有什么方法既不阻止网络爬虫对网站内容进行收录,同时对其连接数和请求数进行一定的限制呢?

先来普及下robots.txt协议:
robots.txt(也称为爬虫协议、爬虫规则、机器人协议等)是放置在网站根目录中的.TXT文件,是搜索引擎蜘蛛程序默认访问网站第一要访问的文件,如果 搜索引擎蜘蛛程序找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。robots.txt将告诉搜索引擎蜘蛛程序网站哪些页面时可以访问,哪些不可以。Robots协议是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令,故需要搜索引擎自觉遵守。
[warning]robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写,一词不差。[/warning]

robots.txt写法:
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的内容
Disallow: /require/ 这里定义是禁止爬寻require目录下面的内容

使用robots.txt可以来控制某些内容不被爬虫收录,保证网站敏感数据和用户信息不被侵犯。

对爬虫进行限速处理实现方法如下:
相关内容参见:
nginx限制连接数ngx_http_limit_conn_module模块
nginx限制请求数ngx_http_limit_req_module模块
nginx map使用方法

测试:

如需转载请注明出处:http://www.ttlsa.com/html/3257.html

weinxin
微信公众号
扫一扫关注运维生存时间公众号,获取最新技术文章~

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:6   其中:访客  3   博主  0   引用   3

    • […] 39.?nginx实现简体繁体字互转以及中文转拼音(ngx_set_cconv模块) 40.?nginx针对爬虫进行限速配置 41.?nginx替换网站响应内容(ngx_http_sub_module) […]

      • Aceslup 9

        看过变量教程后,发现看变量有些感觉了,虽然也需要思索一番。

          • 小北 9

            @Aceslup 变量是基础

        • 来自外部的引用: 3

          • nginx教程从入门到精通(ttlsa出品)
          • nginx教程—从入门到精通(转) | HuangJin's Blog
          • nginx 基础文档