安装配置 – 浅谈分布式文件系统MogileFS(2)

凉白开 分布式安装配置 – 浅谈分布式文件系统MogileFS(2)已关闭评论7,108字数 2252阅读7分30秒阅读模式

MogileFS的架构

MogileFS的架构如下

dfs

mogilefs-02

在一个MogileFS集群里,存在三种角色的节点文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

  • Tracker node
  1. 任务分发调度
  • Meta Database node
  1.  存储集群的元信息
  2. Host信息
  3. Device信息
  4. Domain信息
  5. Class信息
  6. Key信息
  7. File信息
  • Storage node
  1. 文件存储

 文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

MogileFS两种程序

  • MogileFSd        #负责实现tracker角色功能
  • Mogstored        #负责实现storage node角色功能

在MogileFS中file被定义为上传到storage node的一系列bits,在系统内以domain内唯一的key来标识。一个file属于一个class,class为一组属性值。文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

MogileFS的安装

服务器环境

ip hostname
10.1.192.63 cluster-database
10.1.192.58 cluster-master01
10.1.192.59 cluster-master02
10.1.192.60 cluster-segment01
10.1.192.61 cluster-segment02
10.1.192.62 cluster-segment03

 文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

此五台服务器是vmware vSphere上的五台虚拟机,虚拟机挂在一个新增vmware network2端口下,服务器之间通过vmware switch连接,端口速率为10000Mbps;文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

dfs
mogilefs-03

 文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

由于模块间的依赖关系并没有按照服务器角色区分严格,建议在所有的服务器下安装如下模块:文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

  • MogileFS-Utils-2.28.tar.gz
  • MogileFS-Server-2.70.tar.gz
  • MogileFS-Client-1.17.tar.gz

 文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

MogileFS的安装过程

在cluster-database上初始化数据库文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

建立用户与database文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

CREATE DATABASE mogilefs;
GRANT ALL ON mogilefs.* TO 'mogile'@'cluster-database';
SET PASSWORD FOR 'mogile'@'ibm01' = OLD_PASSWORD( 'mo' );
GRANT ALL ON mogilefs.* TO 'mogile'@'%';
SET PASSWORD FOR 'mogile'@'%' = OLD_PASSWORD( 'mo' );
FLUSH PRIVILEGES;

初始化数据库文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

mogdbsetup --dbname=mogilefs --dbuser=mogile --dbpass=mo

 配置tracker节点

 
mkdir -p /etc/mogilefs
echo << END > mogilefsd.conf 
db_dsn = DBI:mysql:mogilefs:host=cluster-database;port=3306;mysql_connect_timeout=5        #db连接串
db_user = mogile
db_pass = mo
conf_port = 7001        #管理端口
listener_jobs = 5
node_timeout = 5
rebalance_ignore_missing = 1

END

 文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

配置storage node节点

mkdir -p /etc/mogilefs
echo << END > mogstored.conf  
httplisten=0.0.0.0:7500
mgmtlisten=0.0.0.0:7501
docroot=/data/mogData                #http server侦听目录

END

 文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

在storage node节点建立device目录

mkdir -p /data/mogData/dev[1-n]

增加host与device

启动tracker文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

mogilefsd -c /etc/mogilefs/mogilefsd.conf --daemon

增加host与device文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

mogadm --trackers=cluster-master01:7001 host add segment01 --ip=10.1.192.60 --status=alive
mogadm --trackers=cluster-master01:7001 host add segment02 --ip=10.1.192.61 --status=alive
mogadm --trackers=cluster-master01:7001 host add segment03 --ip=10.1.192.62 --status=alive
mogadm --trackers=cluster-master01:7001 device add segment01 1
mogadm --trackers=cluster-master01:7001 device add segment02 2
mogadm --trackers=cluster-master01:7001 device add segment03 3

请看下一篇:MogileFS使用 - 浅谈分布式文件系统MogileFS(3)文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/ 文章源自运维生存时间-https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/

weinxin
我的微信
微信公众号
扫一扫关注运维生存时间公众号,获取最新技术文章~
凉白开
  • 本文由 发表于 02/06/2015 09:42:51
  • 转载请务必保留本文链接:https://www.ttlsa.com/fbs/talk-about-dfs-mogilefs-02/