1.1. Pandas分析步骤
载入数据
将 浏览工具排名 进行 COUNT。类似如下SQL:
SELECT browser,
count(*)
FROM log
...
浏览工具排名-MRJob-Python数据分析(10)
1.1. 前言
我们计算浏览工具排名经过这四个步骤:
Mapper: 将以行数据解析成 key=浏览工具 value=1的形式
Shuffle: 通过Shuffle后的结果会生成以 ke...
外链点击数-Pandas-Python数据分析(9)
1.1. Pandas分析步骤
载入数据
将 外链点击数 进行 COUNT。类似如下SQL:
SELECT reference_url,
count(*)
FROM ...
外链点击数-MRJob-Python数据分析(8)
1.1. 前言
我们计算外链点击数经过这四个步骤:
Mapper: 将以行数据解析成 key=外链点击数 value=1的形式
Shuffle: 通过Shuffle后的结果会生成以 ke...
URL请求数-Pandas-Python数据分析(7)
1.1. Pandas分析步骤
载入数据
将 请求的URL 进行 COUNT。类似如下SQL:
SELECT request_url,
count(*)
FROM l...
URL请求数-MRJob-Python数据分析(6)
1.1. 前言
我们计算URL请求数经过这四个步骤:
Mapper: 将以行数据解析成 key=请求的URL数 value=1的形式
Shuffle: 通过Shuffle后的结果会生成以...
时刻PV-Pandas-Python数据分析(5)
1.1. Pandas分析步骤
载入数据
将 access_time 的日期进行 COUNT。类似如下SQL:
SELECT DATE_FORMAT(access_time, '...
时刻PV-MRJob-Python数据分析(4)
1.1. 前言
这边我们使用Python的M/R框架MRJob来分析.
1.2. M/R步骤
Mapper: 将以行数据解析成 key=hh value=1的形式
Shuffle: 通过S...
每日PV-Pandas-Python数据分析(3)
1.1. 前言
这边我们使用内存分析框架Pandas来分析每日PV。
1.2. 对Pandas的好评
其实个人对Pandas这个模块是颇有好感。本人用Pandas完成可许多的日常实用的小工具,如...
每日PV-MRJob-Python数据分析(2)
1.1. 前言
这边我们使用Python的M/R框架MRJob来分析
1.2. M/R步骤
M/R分析数据步骤一般有 3 步:
Mapper => Shuffle => Red...
Init – Python数据分析(1)
1.1. 前言
由于公司业务的发展,在一些产品的功能上面不再满足于哪些简简单单的功能性的主要功能了。也开始考虑一些为产品增添色彩的功能(数据统计)。
当然,产品中的一些基本的统计功能,使用关系...
Tornado编程-WebSocket原理及代码示例
一. WebSocket协议
WebSocket 协议本质上是一个基于 TCP 的协议。
为了建立一个 WebSocket 连接,客户端浏览器首先要向服务器发起一个 HTTP 请求,这个请...
Inception备份库表数据中文乱码解决
MySQL环境
字符集: utf8mb4
乱码重现
要执行的 python 代码
#!/usr/bin/python
# -*- coding: utf-8 -*-
i...
flask-migrate 管理升级迁移数据库
项目创建后,针对表结构更改,可以使用Flask-Migrate来解决。Flask-Migrate插件是基于Alembic,Alembic是由大名鼎鼎的SQLAlchemy作者开发数据迁移工具。
安装...
Shell分析Nginx日志 找出被阻止的IP
在日常运维中会发现流量突增现象或者服务器负载升高等现象,为找到原因,需要使用nginx limit模块 对访问的Ip进行限制,然后可以分析日志。
配置nginx限制IP访问,可配置多个zone。
...
16