MySQL表信息统计 MySQL

MySQL表信息统计

啰哩八说 在上一篇文章中简单的介绍了使用python-mysql-replication 来解析 MySQL binlog来完成实时统计的业务,当然,在现实的业务中不可能用的那么简单的。 今天的目的不...
阅读全文
利用binlog完成实时计算 MySQL

利用binlog完成实时计算

啰哩八嗦 由于业务的发展,一些实时统计的需求越来越多。有些东西通过记录日志然后实时分析日志可以解决。但是对于有入库还有自己记录到日志的这显然是多此一举。因为MySQL本身就有帮你记录日志, 而且记录的...
阅读全文
Leaf:GO语言游戏框架介绍及入门 golang

Leaf:GO语言游戏框架介绍及入门

Leaf 是一个由 Go 语言(golang)编写的开发效率和执行效率并重的开源游戏服务器框架。Leaf 适用于各类游戏服务器的开发,包括 H5(HTML5)游戏服务器。 Leaf 的关注点: 良好的...
阅读全文
真实IP对应区域-MRJob-Python数据分析(19) python

真实IP对应区域-MRJob-Python数据分析(19)

1.1. 前言 由于我们这边没有使用 M/R join的方法来实现 IP对应的区域,我们是使用M/R结合Pandas来实现。 我们计算每日PV经过这四个步骤: Mapper: 将以行数据解析成 key...
阅读全文
CDN_IP对应地区-MRJob-Python数据分析(17) python

CDN_IP对应地区-MRJob-Python数据分析(17)

1.1. 前言 由于我们这边没有使用 M/R join的方法来实现 IP对应的区域,我们是使用M/R结合Pandas来实现。 我们计算CDN IP对应地区经过这四个步骤: Mapper: 将以行数据解...
阅读全文
Join实现-MRJob-Python数据分析(16) python

Join实现-MRJob-Python数据分析(16)

1.1. 前言 前面我们解析出了CDN IP 和 用户真实IP 的访问次数,但是我们要如何知道该IP是来自哪个地区呢?这时候我们就需要用到在area_ip.csv 中的数据了。 这时候就需要使用 M/...
阅读全文