1.1. 前言
这边我们使用Python的M/R框架MRJob来分析.
1.2. M/R步骤
Mapper: 将以行数据解析成 key=hh value=1的形式
Shuffle: 通过S...
每日PV-Pandas-Python数据分析(3)
1.1. 前言
这边我们使用内存分析框架Pandas来分析每日PV。
1.2. 对Pandas的好评
其实个人对Pandas这个模块是颇有好感。本人用Pandas完成可许多的日常实用的小工具,如...
每日PV-MRJob-Python数据分析(2)
1.1. 前言
这边我们使用Python的M/R框架MRJob来分析
1.2. M/R步骤
M/R分析数据步骤一般有 3 步:
Mapper => Shuffle => Red...
Init – Python数据分析(1)
1.1. 前言
由于公司业务的发展,在一些产品的功能上面不再满足于哪些简简单单的功能性的主要功能了。也开始考虑一些为产品增添色彩的功能(数据统计)。
当然,产品中的一些基本的统计功能,使用关系...
Tornado编程-WebSocket原理及代码示例
一. WebSocket协议
WebSocket 协议本质上是一个基于 TCP 的协议。
为了建立一个 WebSocket 连接,客户端浏览器首先要向服务器发起一个 HTTP 请求,这个请...
Inception备份库表数据中文乱码解决
MySQL环境
字符集: utf8mb4
乱码重现
要执行的 python 代码
#!/usr/bin/python
# -*- coding: utf-8 -*-
i...
flask-migrate 管理升级迁移数据库
项目创建后,针对表结构更改,可以使用Flask-Migrate来解决。Flask-Migrate插件是基于Alembic,Alembic是由大名鼎鼎的SQLAlchemy作者开发数据迁移工具。
安装...
Flask-SQLAlchemy 使用
安装
pip install flask-sqlalchemy
pip install MySQL-python
需要先安装mysql开发库的。
使用
创建SQLALchemy 对象, 然后...
自动化运维管理fabric
如何使用fabric 自动化日常管理任务和部署
自动化,批量化是作为管理员,或者运维人员必须面临的问题。自动化和批量化也有很多方式,可以用单一工具也可以自己写shell脚本,甚至可以开发出来一套完备...
python开源库推荐
环境管理
virtualenv - A tool to create isolated Python environments.
virtualenvwrapper - A set o...
Flask-Login 使用和进阶
在使用flask时,构建一个系统,用户登录注册是一个必不可少的过程,通常是使用Flask-Login模块。下面介绍使用Flask-Login登录注销,以及帮助大家解答一些可能比较常见的问题。
使用入...
Django ModelForm与Form
django表单系统中,所有的表单类都作为django.forms.Form的子类创建,包括ModelForm
关于django的表单系统,主要分两种
基于django.forms.F...
Python Paramiko模块安装和使用
1、简介
大家会发现,常见的解决方法都会需要对远程服务器必要的配置,如果远程服务器只有一两台还好说,如果有N台,还需要逐台进行配置,或者需要使用代码进行以上操作时,上面的办法就不太方便了。
...
MySQL应用架构优化-实时数据处理(2)
22.4.7. 初始化Storm
这边我们在(10.10.10.21 storm_1、10.10.10.22 storm_2、10.10.10.23 storm_3)这三台部署storm。
...
MySQL应用架构优化-实时数据处理(1)
1.1. 场景
在和开发人员做优化的时候,讨论最多的应该是结合应用场景编写出合适的SQL。并培训开发应该如何编写SQL让MySQL的性能尽量好。但是有一些的场景对于SQL的优化是行不通的。
打...
9