GridFS簡(jiǎn)介
mongoDB的文檔以BSON格式存儲(chǔ),支持二進(jìn)制的數(shù)據(jù)類型,當(dāng)我們把二進(jìn)制格式的數(shù)據(jù)直接保存到mongoDB的文檔中。但是當(dāng)文件太大時(shí),例如圖片和視頻等文件,每個(gè)文檔的長(zhǎng)度是有限的,于是mongoDb會(huì)提供了一種處理大文件的規(guī)范--GridFS。
GridFS實(shí)現(xiàn)原理
在GridFS數(shù)據(jù)庫中,默認(rèn)使用fs.chunks 和fs.files來存儲(chǔ)文件,其中fs.files集合存放文件的信息,fs.chunks存放文件的數(shù)據(jù),一個(gè)fs.files集合中的一條記錄內(nèi)容如下,即一個(gè)file信息如下所示:
復(fù)制代碼 代碼如下:
{
"_id" : ObjectId("4f4608844f9b855c6c35e298"), //唯一id,可以是用戶自定義的類型
"filename" : "CPU.txt", //文件名
"length" : 778, //文件長(zhǎng)度
"chunkSize" : 262144, //chunk的大小
"uploadDate" : ISODate("2012-02-23T09:36:04.593Z"), //上傳時(shí)間
"md5" : "e2c789b036cfb3b848ae39a24e795ca6", //文件的md5值
"contentType" : "text/plain" //文件的MIME類型
"meta" : null //文件的其它信息,默認(rèn)是沒有”meta”這個(gè)key,用戶可以自己定義為任意BSON對(duì)象
}
對(duì)應(yīng)fs.chunks中的chunk(中文意思數(shù)據(jù)塊),如下所示:
復(fù)制代碼 代碼如下:
{
"_id" : ObjectId("4f4608844f9b855c6c35e299"), //chunk的id
"files_id" : ObjectId("4f4608844f9b855c6c35e298"), //文件的id,對(duì)應(yīng)fs.files中的對(duì)象,相當(dāng)于fs.files集合的外鍵
"n" : 0, //文件的第幾個(gè)chunk塊,如果文件大于chunksize的話,會(huì)被分割成多個(gè)chunk塊
"data" : BinData(0,"QGV...") //文件的二進(jìn)制數(shù)據(jù),這里省略了具體內(nèi)容
}
默認(rèn)大小是256k,所以把文件存入到GridFS過程中,如果文件大于chunksize,則把文件分割多個(gè)chunk,再把這些chunk保存在fs.chunks中,最后再把文件信息存入fs.files中。
在讀取文件的時(shí)候,先根據(jù)查詢的條件,在fs.files中找到一個(gè)合適的記錄,得到“_id”的值,再根據(jù)這個(gè)值到fs.funks中查找所有files_id 為 _id 的chunk,并按照“n”排序,最后依次讀取chunk中的“data”對(duì)象的內(nèi)容,還原成原來的文件。
注:
1、GridFS不自動(dòng)處理md5相同的文件,對(duì)于md5相同的文件,如果想在GridFS中只有一個(gè)存儲(chǔ),要用戶處理,md5值的計(jì)算由客戶端完成。
2、因?yàn)镚ridFS在上傳文件過程中是先把文件數(shù)據(jù)保存到fs.chunks,最后再把文件的信息保存到fs.files中,所以如果上傳文件過程中失敗,有可能在fs.chunks中出現(xiàn)垃圾數(shù)據(jù),這些垃圾數(shù)據(jù),可以定期清理掉。
您可能感興趣的文章:- 深入了解MongoDB是如何存儲(chǔ)數(shù)據(jù)的
- PHP操作MongoDB GridFS 存儲(chǔ)文件的詳解
- PHP MongoDB GridFS 存儲(chǔ)文件的方法詳解
- Spring Boot集成Shiro并利用MongoDB做Session存儲(chǔ)的方法詳解
- Nodejs使用Mongodb存儲(chǔ)與提供后端CRD服務(wù)詳解
- python將MongoDB里的ObjectId轉(zhuǎn)換為時(shí)間戳的方法
- python根據(jù)時(shí)間生成mongodb的ObjectId的方法
- 深究從MongoDB的ObjectId中獲取時(shí)間信息
- MongoDB批量將時(shí)間戳轉(zhuǎn)為通用日期格式示例代碼
- MongoDB存儲(chǔ)時(shí)間時(shí)差問題的解決方法