Filebeat是一个开源的文件收集器,主要用于获取日志文件,并把它们发送到logstash或elasticsearch。与libbeat lumberjack一起替代logstash-forward...
ELK 部署指南
Logstash是一个开源的用于收集,分析和存储日志的工具。 Kibana4用来搜索和查看Logstash已索引的日志的web接口。这两个工具都基于Elasticsearch。
Logstas...
ELK重新加载跳过的旧文件
如何重新将跳过的旧文件导入到ELK。logstash-forwarder如何从新读取文件不知道该如何设置,有知道的朋友请告之下。
# cat /ttlsa/data/www.ttlsa.com.lo...
ELK 常见错误处理
ELK 这里就不介绍了,如何安装请参考博客之前的文章。在这里感谢ttlsa团队,同时,我很荣幸能加入到ttlsa团队中,分享点滴,凉白开说发文章有红包,期待这篇群主能给多少红包。哈哈。
...
深入NSQ 之旅
介绍
NSQ是一个实时的分布式消息平台。它的设计目标是为在多台计算机上运行的松散服务提供一个现代化的基础设施骨架。
这篇文章介绍了 基于go语言的NSQ的内部架构,它能...
API – 浅谈分布式文件系统MogileFS(5)
Client.pm
MogileFS::Utils模块将Client.pm的api封装了起来
实例分析一【文件下载】
客户端上执行如下命令:(下载key为speach_of_dependence...
manage MogileFS – 浅谈分布式文件系统MogileFS(4)
1. 系统的启动与停止
启动tracker
mogilefsd -c /etc/mogilefs/mogilefsd.conf --daemon
启动storage node
mog...
MogileFS的使用 – 浅谈分布式文件系统MogileFS(3)
MogileFS的使用
文件下载
mogfetch --trackers=cluster-master01:7001 --domain=abc --key="speach_of_depe...
安装配置 – 浅谈分布式文件系统MogileFS(2)
MogileFS的架构
MogileFS的架构如下
在一个MogileFS集群里,存在三种角色的节点
Tracker node
任务分发调度
Meta ...
介绍 – 浅谈分布式文件系统MogileFS(1)
mogilefs曾经带我入门进入到分布式文件系统的领域,既然ttlsa上讲了gearman,也讲下mogilefs吧,都是一个人开发的,mogilefs巧妙的用http put实现了一个分布式服务器,...
gearman python 实例
有关gearman的介绍,可以参见本博客之前的文章。
gearman的Python客户端使用蛮简单的。具体方法参见:http://pythonhosted.org//gearman/librar...
Logstash 日志管理工具
Logstash是一个开源的日志管理工具。
ELK 部署,参见本博客内容《ELK部署》,以及elasticsearch相关文章。
ELK系列文章:http://www.ttlsa.com/...
PB规模的Linux分布式文件系统—ceph
Linux 持续进军可伸缩计算领域,尤其是可扩展存储领域。 Linux 文件系统最近新增了一个引人注目的选择 —— Ceph,一个维持 POSIX 兼容的同时还集成了复制、容错的分布式文件系统。探讨 ...
shadow-mfs系统架构介绍
背景简介
shadow-mfs百度运维部基于开源分布式文件系统项目moosefs深度二次开发的系统。我们在开源项目的基础上进行了系统架构的升级开发和单节点的性能优化。在系统可用性,可靠性和可扩展性方...
scribe、chukwa、kafka、flume日志系统对比
1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁...
4