啰哩八嗦
由于业务的发展,一些实时统计的需求越来越多。有些东西通过记录日志然后实时分析日志可以解决。但是对于有入库还有自己记录到日志的这显然是多此一举。因为MySQL本身就有帮你记录日志, 而且记录...
MySQL分区表和HBase永结连理
啰哩八嗦
时常都会有人问MySQL分区表要如何使用,MySQL分区表的和Oracle的差远了,该不该用MySQL分区表。其实该不该用,我也不能给予很好的建议。还是那句话,觉得适合自己才是最好的。觉得...
Maxscale-高可用配置(5)
前言
其实在GitHub上面Maxscale很清楚的告诉了我们是如何搭建的。但是那种安装是多年前的安装情况了。一般不适合在 Centos7 上面照猫画虎的安装。
这篇文章演示的是相同的软件配置...
Maxscale-充当Binlog Server(4)
前言
有兴趣的朋友可以看看Binlog Server的作用架构的Blog:http://blog.booking.com/mysql_slave_scaling_and_more.html
个...
Maxscale-SQL防火墙(3)
这篇文章的目的主要是稍微介绍一些Maxscale有SQL防火墙这个功能,具体更多关于Maxscale如何使用SQL防火墙,或配置SQL匹配过滤等功能还得去浏览一下它的手册
https://git...
Maxscale-正确对待读写分离(2)
前言
在现在读写分离已经是不奇怪了, 基本上有接触一点MySQL的都会谈到要读写分离。下面我们以3个方面来探讨一些并且介绍如何使用Maxscale来做适合业务的读写分离:
读写分离要怎么做...
Maxscale安装-读写分离(1)
前言
关于MySQL中间件的产品也很多,之前用过了360的Atlas、玩过MyCat。这边我选择 Maxscale的原因就是功能能满足需求,也看好他的未来发展。
其实有关于如何安装 Maxsc...
物品推荐-Pandas-Python数据分析(22)
数据
具体数据和代码在网盘:链接: https://pan.baidu.com/s/1qYyAyvi密码: rnbj
相关文件: 01_user_goods_score.data。
数...
物品推荐-MRJob-Python数据分析(21)
数据
具体数据和代码在网盘:链接: https://pan.baidu.com/s/1qYyAyvi密码: rnbj
相关文件: 01_user_goods_score.data。
数...
真实IP对应区域-Pandas-Python数据分析(20)
1.1. Pandas分析步骤
载入日志数据
载入area_ip数据
将 real_ip 请求数 进行 COUNT。类似如下SQL:
SELECT inet_aton(l....
真实IP对应区域-MRJob-Python数据分析(19)
1.1. 前言
由于我们这边没有使用 M/R join的方法来实现 IP对应的区域,我们是使用M/R结合Pandas来实现。
我们计算每日PV经过这四个步骤:
Mapper: 将以行数据...
CDN_IP对应地址-Pandas-Python数据分析(18)
1.1. Pandas分析步骤
载入日志数据
载入area_ip数据
将 CDN_IP请求数 进行 COUNT。类似如下SQL:
SELECT inet_aton(l.cd...
CDN_IP对应地区-MRJob-Python数据分析(17)
1.1. 前言
由于我们这边没有使用 M/R join的方法来实现 IP对应的区域,我们是使用M/R结合Pandas来实现。
我们计算CDN IP对应地区经过这四个步骤:
Mapper:...
Join实现-MRJob-Python数据分析(16)
1.1. 前言
前面我们解析出了CDN IP 和 用户真实IP 的访问次数,但是我们要如何知道该IP是来自哪个地区呢?这时候我们就需要用到在area_ip.csv 中的数据了。
这时候就需要使...
真实IP请求-Pandas-Python数据分析(15)
1.1. Pandas分析步骤
载入数据
将 真实IP请求 进行 COUNT。类似如下SQL:
SELECT real_ip,
count(*)
FROM log
...
7