Zookeeper分布式集群部署 分布式

Zookeeper分布式集群部署

部 署完成Hadoop/Hbase集群之后,开始测试Sleuthkit,结果发现tpkickoff.sh运行时不断提醒zookeeper的连接错 误:Session 0x0 for server。网上...
阅读全文
大规模web架构gearman分布式处理应用案例 Gearman

大规模web架构gearman分布式处理应用案例

一. 场景分析 业务服务压力比较大,想把一些占用资源的功能异步到远程处理,比如记录业务日志,文件加密,文件分发到其他文件服务器节点上,检查文件服务器是否已同步,对用户上传的图片进行剪裁生成多份缩略图,...
阅读全文
关于Flume-ng那些事(四) 日志系统

关于Flume-ng那些事(四)

最后一章了,flume-ng的手册总是慢半拍,一些实例可以参考下手册总的图,会很有收获。http://flume.apache.org/FlumeUserGuide.html  还是1.4版本,有些参...
阅读全文
关于Flume-ng那些事(一) 日志系统

关于Flume-ng那些事(一)

前言 落群好久,一直潜水,实在抹不开了,为ttlsa做点贡献。这个群是我见到所有技术群里扯淡最少的群。支持下,谢谢群主默北和管理员白开水为我们开辟一块学习的净土。希望ttlsa走的更远,各位同学在技术...
阅读全文
关于PHP实现异步操作的研究 Gearman

关于PHP实现异步操作的研究

1.为啥PHP需要异步操作? 一般来说PHP适用的场合是web页面展示等耗时比较短的任务,如果对于比较花时间的操作如resize图片、大数据导入、批量发送EDM、SMS等,就很容易出现操作超时情况。你...
阅读全文
SVN+Gearman构建异步式代码分布系统 Gearman

SVN+Gearman构建异步式代码分布系统

1.场景说明 任何一种方法都是为了解决或改进现有的问题。随着SVN服务器版本库增多,代码量增多,随之而来的就面临着SVN服务器压力的问题。为了开发测试,一般在每个版本库的hooks下配置个钩子,来实现...
阅读全文
gearman+mysql实现持久化队列 Gearman

gearman+mysql实现持久化队列

持久化队列是在0.6版本中新添的一项功能,允许将队列存放在drizzle或mysql中。 0.7版本允许将队列存放在memcached。 0.9版本可以将队列存放在sqlite3或postgresql...
阅读全文
Scribe分布式日志系统 Scribe

Scribe分布式日志系统

Scribe分布式日志系统 一.介绍 Scribe是facebook开发的分布式日志系统,使用thrift传输log,因此无论是什么语言开发的项目都可以实现log收集,传送到远程或主从同步到远程。Sc...
阅读全文