真实IP对应区域-MRJob-Python数据分析(19) python

真实IP对应区域-MRJob-Python数据分析(19)

1.1. 前言 由于我们这边没有使用 M/R join的方法来实现 IP对应的区域,我们是使用M/R结合Pandas来实现。 我们计算每日PV经过这四个步骤: Mapper: 将以行数据解析成 key...
阅读全文
CDN_IP对应地区-MRJob-Python数据分析(17) python

CDN_IP对应地区-MRJob-Python数据分析(17)

1.1. 前言 由于我们这边没有使用 M/R join的方法来实现 IP对应的区域,我们是使用M/R结合Pandas来实现。 我们计算CDN IP对应地区经过这四个步骤: Mapper: 将以行数据解...
阅读全文
Join实现-MRJob-Python数据分析(16) python

Join实现-MRJob-Python数据分析(16)

1.1. 前言 前面我们解析出了CDN IP 和 用户真实IP 的访问次数,但是我们要如何知道该IP是来自哪个地区呢?这时候我们就需要用到在area_ip.csv 中的数据了。 这时候就需要使用 M/...
阅读全文
外链点击数-MRJob-Python数据分析(8) python

外链点击数-MRJob-Python数据分析(8)

1.1. 前言 我们计算外链点击数经过这四个步骤: Mapper: 将以行数据解析成 key=外链点击数 value=1的形式 Shuffle: 通过Shuffle后的结果会生成以 key 的值排序的...
阅读全文
URL请求数-MRJob-Python数据分析(6) python

URL请求数-MRJob-Python数据分析(6)

1.1. 前言 我们计算URL请求数经过这四个步骤: Mapper: 将以行数据解析成 key=请求的URL数 value=1的形式 Shuffle: 通过Shuffle后的结果会生成以 key 的值...
阅读全文