MySQL应用架构优化-实时数据处理(2)

  • A+
所属分类:MySQL python

22.4.7. 初始化Storm

这边我们在(10.10.10.21 storm_1、10.10.10.22 storm_2、10.10.10.23 storm_3)这三台部署storm。

  • 到官网下载Stormtorm(apache-storm-0.9.6.zip)
  • 解压到/usr/local/目录下,三台机子都执行同样的命令

  • 设置yaml配置文件

  • 创建Storm运行时目录

  • 启动Storm

  • 开启web界面访问Storm UI

mysql

看到上的界面就说明我们的Storm已经部署完毕了。

22.4.1. 构建streamparse(Python Storm框架)

streamparse 是Python Storm的一个框架,他可以将python代码打包为一个jar包运行在Storm中。

官网:http://streamparse.readthedocs.io/en/master/quickstart.html

(PS:streamparse 3 以上的拓扑已经改变。和作者沟通过他是为了让streamparse能够更好的独立运行,从而脱离storm环境。

  • 创建3机信任,分别在3台机子上都生成ssh的公钥,分别执行以下命令

执行完上面命令后会在各个主机的 ~/.ssh/ 目录下会生成 id_rsa.pub 文件。将3台机子中的公钥都拷贝到一个文件中并且让3台机子的这个文件内容都一样

  • 在3台机子上创建config文件(3台机子都要执行)

  • 下载 lein 文件到 /usr/local/bin 目录中,授予可执行权限(3台机子都要执行)

  • 安装streamparse(3台机子都要执行)

  • 创建storm_project 目录,并且开始一个简单的Storm项目(在storm_2上操作),这边不要再Storm启动的Nimbus节点上创建,因为到时候运行Storm项目会有端口上的冲突。

  • 设置json配置文件(在storm_2上操作)