大数据 fluentd收集日志文件 Fluentd是一个收集日志文件的开源软件,目前提供数百个插件可用于存储大数据用于日志搜索,数据分析和存储。 Fluentd适用于以下场景。 收集多台服务器的访问日志进行可视化 在AWS等云端使用Au... 10月18日fluentd收集日志文件已关闭评论 收藏 阅读全文
大数据 fluentd 大数据采集平台 在大数据采集平台中,有这样一个特殊的平台,它的各部分均是可定制化的,你可以通过简单的配置,将日志收集到任何地方。这是一个目前非常火热的大数据采集平台,被众多企业所应用,所以本期就为大家介绍这个特殊的平... 10月17日fluentd 大数据采集平台已关闭评论 收藏 阅读全文
FastDFS FastDFS动态添加组(卷)(4) -- 可以随时动态增加一个组(卷) 为FastDFS集群的容量扩容 新组的容量会叠加 相当于与原来的组做了raid0 服务器角色 192.168.5.231 tracker + nginx 1... 06月08日 1 收藏 阅读全文
FastDFS FastDFS多tracker配置(3) -- tracker 所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。 服务器角色 192.168.5.231 tracker + nginx 192.168.5.232 t... 06月06日FastDFS多tracker配置(3)已关闭评论 收藏 阅读全文
FastDFS FastDFS+Nginx实现http协议下载(2) -- nginx结合 fastdfs-nginx-module插件去实现http协议下载 在所有storage节点和tracker节点都需要安装nginx 原理介绍 1. storage节点中的ngi... 06月03日FastDFS+Nginx实现http协议下载(2)已关闭评论 收藏 阅读全文
FastDFS 部署(1) FastDFS -- 开源的分布式文件系统 由阿里巴巴开发 工作原理 1. FastDFS服务端有2个角色 分别是tracker(跟踪器(或说是调度器会更合适)) 和 storage(存储节点)。 2... 05月13日 FastDFSFastDFS 部署(1)已关闭评论 收藏 阅读全文
hbase MySQL分区表和HBase永结连理 啰哩八嗦 时常都会有人问MySQL分区表要如何使用,MySQL分区表的和Oracle的差远了,该不该用MySQL分区表。其实该不该用,我也不能给予很好的建议。还是那句话,觉得适合自己才是最好的。觉得自... 12月21日 1 收藏 阅读全文
HDFS 物品推荐-Pandas-Python数据分析(22) 数据 具体数据和代码在网盘:链接: https://pan.baidu.com/s/1qYyAyvi密码: rnbj 相关文件: 01_user_goods_score.data。 数据中有3个字段... 11月29日物品推荐-Pandas-Python数据分析(22)已关闭评论 收藏 阅读全文
HDFS 物品推荐-MRJob-Python数据分析(21) 数据 具体数据和代码在网盘:链接: https://pan.baidu.com/s/1qYyAyvi密码: rnbj 相关文件: 01_user_goods_score.data。 数据中有3个字段... 11月22日 1 收藏 阅读全文
大数据 riak中的CAP理论 在 Riak 这样的分布式key-value数据库中,CAP理论是怎么起作用的。 Nodes/Writes/Reads 首先还是让我们来明确几个概念。 N odes 需要"最终"包含正确的值的服务器节... 04月03日riak中的CAP理论已关闭评论 收藏 阅读全文
大数据 Riak分布式数据库模型 Riak 是什么 Riak 是一个 erlang 开发的开源的分布式 key-value 数据库, 在 High Availability, Fault Tolerance, Scalability ... 04月01日 1 收藏 阅读全文
大数据 elasticsearch 安装 ik 中文分词 首先要安装java 和 elasticsearch,相关步骤参见之前文章。 1. 安装maven 2. 安装elasticsearch-analysis-ik 3. 修改elasticsearch.y... 10月23日 1 收藏 阅读全文
大数据 ELK(Elasticsearch + Logstash + Kibana) 日志分析平台 Elasticsearch + Logstash + Kibana(ELK)是一套开源的日志管理方案,分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统... 10月21日ELK(Elasticsearch + Logstash + Kibana) 日志分析平台已关闭评论 收藏 阅读全文
大数据 hadoop家族介绍 Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的Ma... 09月13日hadoop家族介绍已关闭评论 收藏 阅读全文
FastDFS FastDFS 使用经验分享 经验一:FastDFS文件下载恢复原始文件名 应用背景 文件被上传到FastDFS后Storage服务端将返回的文件索引(FID),其中文件名是根据FastDFS自定义规则重新生成的,而不是原始文件名... 06月16日FastDFS 使用经验分享已关闭评论 收藏 阅读全文