- A+
1.1. 前言
由于公司业务的发展，在一些产品的功能上面不再满足于哪些简简单单的功能性的主要功能了。也开始考虑一些为产品增添色彩的功能(数据统计)。
当然，产品中的一些基本的统计功能，使用关系型数据库(MySQL)基本都能解决的。但是当访问量上来了数据量稍微有了，使用MySQL来承担报表的工作就显得有点吃力了。
这时候就不得不从业务和架构上去考虑来做这些报表功能。
1.2. 业务的需求
对于做需求的来说，数据总是需要实时的，他们根本就不理解 '实时' 这两个字会给系统带来多大的负担。
如：用户对浏览过的商品、页面的浏览量
1、(实时)在访问量小的时候可以使用 MySQL 完全可以解决问题。
2、(实时)在访问量稍微大了点对系统有点压力 可以使用 MySQL/Redis + 从库查询 来克服对主库带来的压力。
3、(放弃实时，变成准实时)在访问量真的很大了使用上面的在做统计就有边的费力了这时候就需要使用其他的方法了。现在有许多的方法可以很好的完成这样的工作(Strom/Spark/Hadoop)。
1、Strom: 实时流式计算
2、Spark/Pandas: 内存计算
3、Hadoop(M/R): 离线计算
1.3. 正题
今天我们介绍使用 Hadoop(M/R) 框架 和 Pandas 来分析Nginx日志
相关的示例Nginx日志文件在网盘上:
链接: https://pan.baidu.com/s/1qYyAyvi 密码: rnbj
源代码:https://github.com/daiguadaidai/nginx_log_parse
1.4. Nginx 日志格式
|
1 |
140.205.127.56 - - [13/Jun/2016:14:37:04 +0800] "GET /wp-content/plugins/font-awesome-4-menus/fonts/fontawesome-webfont.woff2?v=4.6.1 HTTP/1.1" 304 0 "http://www.ttmark.com/wp-content/plugins/font-awesome-4-menus/css/font-awesome.min.css?ver=4.6.1" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.154 Safari/537.36 LBBROWSER" "60.222.159.45" |
这边我将日志分为 7个 部分:
cdn_ip(CDN请求IP): 140.205.127.56
access_time(请求时间): 13/Jun/2016:14:37:04 +0800
request_url(请求的URL): /wp-content/plugins/font-awesome-4-menus/fonts/fontawesome-webfont.woff2
response_status(NG 响应状态码): 304
reference_url(外链URL): www.ttmark.com
browser(用户使用的浏览器): Chrome/42.0.2311.154 Safari/537.36 LBBROWSER
real_ip(用户真实IP): 60.222.159.45
1.5. 这边使用Python写了一个类专门用来解析Nginx日志的
代码如下:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 |
#!/usr/bin/env python #-*- coding:utf-8 -*- import datetime import urllib class NgLineParser(object): """将 Nginx 日志解析成多个字段""" def __init__(self): self._cdn_ip = '' # CDN请求IP self._access_time = '' # 请求时间 self._request_url = '' # 请求的URL self._reference_url = '' # 外链URL self._response_status = '' # NG 响应状态码 self._browser = '' # 用户使用的浏览器 self._real_ip = '' # 用户真实IP def parse(self, line): """通过传入的一行数据进行解析 """ line_item = line.strip().split('"') if len(line_item) > 9: # 由于日志有改变需要删除一些元素 del line_item[1] del line_item[1] # 获取临时的 CDN IP 和 访问文件 ip_time_tmp = line_item[0].strip().split() self.real_ip = line_item[7] # 用户真实IP self.cdn_ip = ip_time_tmp[0] # CDN请求IP self.access_time = ip_time_tmp[3].lstrip('[') # 请求时间 self.request_url = line_item[1].strip().split()[1] # 请求的URL self.reference_url = line_item[3].strip() # 外链URL self.response_status = line_item[2].strip().split()[0] # NG 响应状态码 self.browser = ' '.join(line_item[5].strip().split()[-2:]) # 用户使用的浏览器 def to_dict(self): """将属性(@property)的转化为dict输出 """ propertys = {} propertys['real_ip'] = self.real_ip propertys['cdn_ip'] = self.cdn_ip propertys['access_time'] = self.access_time propertys['request_url'] = self.request_url propertys['reference_url'] = self.reference_url propertys['response_status'] = self.response_status propertys['browser'] = self.browser return propertys @property def real_ip(self): return self._real_ip @real_ip.setter def real_ip(self, real_ip): self._real_ip = real_ip.split(', ')[0] @property def browser(self): return self._browser @browser.setter def browser(self, browser): self._browser = browser @property def response_status(self): return self._response_status @response_status.setter def response_status(self, response_status): self._response_status = response_status @property def reference_url(self): return self._reference_url @reference_url.setter def reference_url(self, reference_url): """解析外链URL 只需要解析后的域名, 如: 传入: http://www.ttmark.com/diannao/2014/11/04/470.html 解析成: www.ttmark.com """ proto, rest = urllib.splittype(reference_url) res, rest = urllib.splithost(rest) if not res: self._reference_url = '-' else: self._reference_url = res @property def request_url(self): return self._request_url @request_url.setter def request_url(self, request_url): """解析请求的URL 只需要解析后的URL路径不需要参数, 如: 传入: /wp-admin/admin-ajax.php?postviews_id=1348 解析成: /wp-admin/admin-ajax.php """ proto, rest = urllib.splittype(request_url) url_path, url_param = urllib.splitquery(rest) if url_path.startswith('/tag/'): url_path = '/tag/' self._request_url = url_path @property def access_time(self): return str(self._access_time) @access_time.setter def access_time(self, access_time): # Nginx log 解析日志格式 input_datetime_format = '%d/%b/%Y:%H:%M:%S' self._access_time = datetime.datetime.strptime( access_time, input_datetime_format) @property def cdn_ip(self): return self._cdn_ip @cdn_ip.setter def cdn_ip(self, cdn_ip): self._cdn_ip = cdn_ip def main(): ng_line_parser = NgLineParser() with open('www.ttmark.com.access.log', 'r') as f: for index, line in enumerate(f): ng_line_parser.parse(line) print '----------------------------' print index print ng_line_parser.real_ip print ng_line_parser.cdn_ip print ng_line_parser.access_time print ng_line_parser.request_url print ng_line_parser.reference_url print ng_line_parser.response_status print ng_line_parser.browser # 只解析10行 if index == 10: break if __name__ == '__main__': main() |
该类中主要有两个方法:
- parse: 将传入的字符串解析为有用的 7个 部分
- to_dict: 将解析好的7个部分的数据转化成键值对。
1.6. IP对应地区文件讲解
这边提供了两种文件
- area_ip.sql: ip地址的sql文件，可以直接导入关系型数据库。
- area_ip.csv: 以 tab 分割的IP地址数据
在我们的示例中使用的是 area_ip.csv
area_ip.csv 的数据:
每一个数据中存放的都是一个区域的IP的范围
|
1 2 3 4 5 6 7 8 9 10 11 |
head area_ip.csv 2634 0 16777215 0.0.0.0 0.255.255.255 IANA 保留地址 2635 16777216 16777471 1.0.0.0 1.0.0.255 澳大利亚 亚太互联网络信息中心 2636 16777472 16778239 1.0.1.0 1.0.3.255 福建省 电信 2637 16778240 16779263 1.0.4.0 1.0.7.255 澳大利亚 墨尔本Big 2638 16779264 16781311 1.0.8.0 1.0.15.255 广东省 电信 2639 16781312 16785407 1.0.16.0 1.0.31.255 日本 东京I2Ts 2640 16785408 16793599 1.0.32.0 1.0.63.255 广东省 电信 2641 16793600 16809983 1.0.64.0 1.0.127.255 日本 広島県中区大手町Energia通信公司 2642 16809984 16842751 1.0.128.0 1.0.255.255 泰国 CZ88.NET 2643 16842752 16843007 1.1.0.0 1.1.0.255 福建省 电信 |
以第一行为例
2634: 主键
0: 一个区域IP起始数字(一个IP地址可以转化成一个INT数字)
16777215: 一个区域IP结束数字
0.0.0.0: 一个区域的IP起始地址
0.255.255.255: 一个区域的IP结束地址
IANA: 该IP范围的所在区域
保留地址: 该IP的运营商是谁
1.7. 我们的目标
我们需要分析出以下几个结论:
- 每天的PV
- 一天中哪个时段访问量比较高
- 每个URL被请求了多少次(TOP 100)
- 外链地址点击次数(TOP 100)
- 浏览工具的种类(TOP 100)
- CDN IP 数量 (TOP 100)
- 真实用户IP访问次数(TOP 100)
- CDN IP 和 地址(TOP 100)
- 真实IP 和 地址(TOP 100)
昵称: HH
QQ: 275258836
ttlsa群交流沟通(QQ群②: 6690706 QQ群③: 168085569 QQ群④: 415230207（新） 微信公众号: ttlsacom)
感觉本文内容不错，读后有收获？
05/01/2018 下午 2:49 沙发
41932a82b1f4354bd81e1ddb80f6f2a7很不错