NoSQL之MongoDB(2)—使用GridFS处理大文件

  • A+
所属分类:mongodb

一.GridFS介绍

GridFS是MongoDB的二进制数据存储在数据库中的解决方案,用来处理大文件。GridFS不是MongoDB自身特性,MongoDB没有实现它的代码。GridFS只是制定大文件在数据库中如何处理,是通过开发语言驱动来完成和通过API接口来存储检索大文件。

按照设计,MongoDB文档(BSON对象)不能超过16M,这是为了使性能保持在最高水平。如果文档超过16M,当查询时将占用大量的内存。

GridFS指定了将一个大文件分割成多个文档的机制。通过开发语言扩展来实现,例如php扩展,在存储时,分块存储,在检索时,合并分块。

开发人员无需知道内部细节,存储和处理文件是一个透明高效的方式。

GridFS存储在两个独立的集合中:文件和块。基本的想法是为每一个文件被存储在GridFS。文件将有一个文档包含文件名,大小,上传时间以及其他用户定义的元数据。文件的内容存储在一个或多个文档块中。 PHP是以256Kbyte大小来分块。

示意图如下:

GridFS

二.使用php来实现

1.上传页面:

2.存储

# vi store.php

使用mongo shell

> use ttlsa

switched to db ttlsa

> show collections

fs.chunks

fs.files

system.indexes

> db.fs.files.findOne()

{

"_id" : ObjectId("4febfe966803fa3812000008"),

"filename" : "1.sh",

"filetype" : "application/x-shellscript",

"uploadDate" : ISODate("2012-06-28T06:49:58.397Z"),

"length" : 2437,

"chunkSize" : 262144,

"md5" : "e5e5966456777722d68f7104b75cc461"

}

> db.fs.chunks.find({files_id:ObjectId("4febfe966803fa3812000008")})

{ "_id" : ObjectId("4febfe966803fa3812000009"), "files_id" : ObjectId("4febfe966803fa3812000008"), "n" : 0, "data" : BinData(2,"......此处省略=") }

3.读取

# vi list.php

 

# vi view.php

 

GridFS

使用getBytes会有一个潜在的问题,将文件内容全部加载到内存中。如果读取大文件这种方式性能差。GridFS是将文件分块存储的,那么可以单独的从每个块读取和输出,从而避免上述问题。

鉴于此,有时候可以将文件分块来实现断点续传。

weinxin
微信公众号
扫一扫关注运维生存时间公众号,获取最新技术文章~

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:1   其中:访客  0   博主  0   引用   1

    来自外部的引用: 1

    • mongodb实战教程 漠北带你入门到精通(ttlsa出品) | HuangJin's Blog