1.1. Pandas分析步骤 载入数据 将 浏览工具排名 进行 COUNT。类似如下SQL: SELECT browser, count(*) FROM log ...

1.1. 前言 我们计算浏览工具排名经过这四个步骤: Mapper: 将以行数据解析成 key=浏览工具 value=1的形式 Shuffle: 通过Shuffle后的结果会生成以 ke...

1.1. Pandas分析步骤 载入数据 将 外链点击数 进行 COUNT。类似如下SQL: SELECT reference_url, count(*) FROM ...

1.1. 前言 我们计算外链点击数经过这四个步骤: Mapper: 将以行数据解析成 key=外链点击数 value=1的形式 Shuffle: 通过Shuffle后的结果会生成以 ke...

1.1. Pandas分析步骤 载入数据 将 请求的URL 进行 COUNT。类似如下SQL: SELECT request_url, count(*) FROM l...

1.1. 前言 我们计算URL请求数经过这四个步骤: Mapper: 将以行数据解析成 key=请求的URL数 value=1的形式 Shuffle: 通过Shuffle后的结果会生成以...

1.1. Pandas分析步骤 载入数据 将 access_time 的日期进行 COUNT。类似如下SQL: SELECT DATE_FORMAT(access_time, '...

1.1. 前言 这边我们使用Python的M/R框架MRJob来分析. 1.2. M/R步骤 Mapper: 将以行数据解析成 key=hh value=1的形式 Shuffle: 通过S...

1.1. 前言 这边我们使用内存分析框架Pandas来分析每日PV。 1.2. 对Pandas的好评 其实个人对Pandas这个模块是颇有好感。本人用Pandas完成可许多的日常实用的小工具，如...

1.1. 前言 这边我们使用Python的M/R框架MRJob来分析 1.2. M/R步骤 M/R分析数据步骤一般有 3 步： Mapper => Shuffle => Red...

1.1. 前言 由于公司业务的发展，在一些产品的功能上面不再满足于哪些简简单单的功能性的主要功能了。也开始考虑一些为产品增添色彩的功能(数据统计)。 当然，产品中的一些基本的统计功能，使用关系...

一. WebSocket协议 WebSocket 协议本质上是一个基于 TCP 的协议。 为了建立一个 WebSocket 连接，客户端浏览器首先要向服务器发起一个 HTTP 请求，这个请...

MySQL环境 字符集: utf8mb4 乱码重现 要执行的 python 代码 #!/usr/bin/python # -*- coding: utf-8 -*- i...

项目创建后，针对表结构更改，可以使用Flask-Migrate来解决。Flask-Migrate插件是基于Alembic，Alembic是由大名鼎鼎的SQLAlchemy作者开发数据迁移工具。 安装...

在日常运维中会发现流量突增现象或者服务器负载升高等现象，为找到原因，需要使用nginx limit模块 对访问的Ip进行限制，然后可以分析日志。 配置nginx限制IP访问，可配置多个zone。 ...