如果在 CentOS 、 REHL 、 Fedor 或者其他默認(rèn)沒(méi)有 AUFS 支持的 Linux 發(fā)行版上使用 Docker ，你可能需要用到 Device Mapper 的存儲(chǔ)插件。將這個(gè)插件設(shè)置為默認(rèn)，它會(huì)把你所有的容器存儲(chǔ)到一個(gè) 100G 的簡(jiǎn)短文件中，并且限制每個(gè)容器最大為 10GB 。這篇文章將展示如何突破這個(gè)限制，并且把容器的存儲(chǔ)移動(dòng)到一個(gè)指定的分區(qū)或者 LVM 卷中。
它的工作原理
要真正理解我們要做的事情，首先來(lái)了解 Device Mapper 插件的工作原理。
它是基于 Device Mapper 的“精簡(jiǎn)目標(biāo)”的特性。它實(shí)際上是目標(biāo)塊設(shè)備的快照，之所以被稱(chēng)為“精簡(jiǎn)”是因?yàn)樗试S精簡(jiǎn)配置。精簡(jiǎn)配置意味著你有一個(gè)（希望很大）可用存儲(chǔ)塊的池，接著你可以從那個(gè)池中創(chuàng)建任意大小的塊設(shè)備（虛擬磁盤(pán)，如有需要）；在你實(shí)際讀寫(xiě)后，這些存儲(chǔ)塊將會(huì)被標(biāo)記為已使用（或者從池中拿走）。
這意味著你是可以超額使用這個(gè)池，比如在一個(gè) 100GB 的池里面創(chuàng)建幾千個(gè) 10GB 的卷，甚至可能是一個(gè) 100TB 的卷在一個(gè) 1GB 的池里面。只要你的實(shí)際讀寫(xiě)的塊的容量不大于池的大小，你怎么做都 OK 。
除此之外，精簡(jiǎn)目標(biāo)的方式是可以做快照的。這表明無(wú)論何時(shí)，你都可以創(chuàng)建一個(gè)存在的卷的淺拷貝。在用戶(hù)看來(lái)，就像你有兩個(gè)一樣的卷，它們可以獨(dú)立地各自修改。即使你做了一個(gè)完整的拷貝，除了在時(shí)間上它是瞬間發(fā)生的（即使是很大的卷），它們不會(huì)兩次重復(fù)使用存儲(chǔ)。額外的存儲(chǔ)只有當(dāng)其中任何一卷有變化的時(shí)候才會(huì)發(fā)生，然后精簡(jiǎn)目標(biāo)會(huì)從池里面分配一個(gè)存儲(chǔ)快。
從本質(zhì)上來(lái)看，“精簡(jiǎn)目標(biāo)”實(shí)際上使用了兩個(gè)存儲(chǔ)設(shè)備：一個(gè)（大）的是存儲(chǔ)塊池自己，還有一個(gè)小的存儲(chǔ)了一些元數(shù)據(jù)。這些元數(shù)據(jù)中包括了卷、快照、以及每個(gè)卷的塊或者快照同存儲(chǔ)池中塊的映射信息。
當(dāng) Docker 使用 Device Mapper 存儲(chǔ)插件的時(shí)候，它會(huì)在 /var/lib/docker/devicemapper/devicemapper/data 和/var/lib/docker/devicemapper/devicemapper/metadata 下創(chuàng)建兩個(gè)文件（如果它們不存在）來(lái)存儲(chǔ)對(duì)應(yīng)的存儲(chǔ)池和相關(guān)的元數(shù)據(jù)。這非常方便，你不需要做任何安裝部署的工作（你不需要額外的分區(qū)來(lái)存儲(chǔ) Docker 容器，或者建立 LVM 或其他類(lèi)似的東西）。然而它也有兩個(gè)缺點(diǎn)：
－ 存儲(chǔ)池會(huì)有一個(gè)默認(rèn) 100GB 的容量
－ 它將會(huì)被稀疏文件所支持。從磁盤(pán)的使用效率的觀(guān)點(diǎn)來(lái)看，這還不錯(cuò)的（就像在精簡(jiǎn)池中的卷，它一開(kāi)始是小的，只有當(dāng)實(shí)際需要寫(xiě)的時(shí)候才會(huì)使用磁盤(pán)的存儲(chǔ)塊）。但是從性能的角度來(lái)看就不那么好了，因?yàn)?VFS 增加了一些額外的負(fù)擔(dān)，特別是"第一次寫(xiě)的時(shí)候"。
在了解如何調(diào)整容器的大小之前，我們來(lái)試試看如何給池增加更多空間。
我們需要一個(gè)更大的池
警告 : 下面的操作會(huì)刪除你所有的容器和鏡像，確保你已經(jīng)把之前的數(shù)據(jù)做了備份！
記住上面說(shuō)過(guò)的，當(dāng)數(shù)據(jù)和元類(lèi)信息文件不存在的時(shí)候 Docker 會(huì)創(chuàng)建它們，所以解決方案非常簡(jiǎn)單：在啟動(dòng)它們之前，在 Docker 里創(chuàng)建這些文件！
1.停止 Docker 守護(hù)進(jìn)程，因?yàn)槲覀儗⒁匦略O(shè)置我們的存儲(chǔ)插件，如果我們?cè)谶\(yùn)行的時(shí)候移除文件，那么糟糕的事情就將發(fā)生。
2.擦去 /var/lib/docker 。 警告：正如前面提到的，這個(gè)操作會(huì)把你所有的容器和鏡像都刪除掉。
3.創(chuàng)建存儲(chǔ)目錄：
mkdir -p /var/lib/docker/devicemapper/devicemapper
4.創(chuàng)建你的池：
dd if=/dev/zero of=/var/lib/docker/devicemapper/devicemapper/data bs=1G count=0 seek=250
，創(chuàng)建一個(gè) 250G 的稀疏文件。如果你指定 bs=1G count=250（不使用 seek 選項(xiàng)），那么它會(huì)創(chuàng)建一個(gè)普通文件（而不是一個(gè)稀疏文件）。
5.重啟 Docker 守護(hù)進(jìn)程。提示：在默認(rèn)情況下，如果你有 AUFS 的支持， Docker 會(huì)使用它；所以如果你要強(qiáng)制使用 Device Mapper 的插件，需要在啟動(dòng) Docker 的命令中增加 -s devicemapper 的選項(xiàng)。
6.使用 docker info 來(lái)檢查 Data Space Total 的值是否正確。
我們需要一個(gè)更快的池
警告 ：下面的操作也會(huì)刪除你所有的容器和鏡像。確保把你重要的鏡像保存在 registry 中，保存你容器里面的重要數(shù)據(jù)。
要獲得一個(gè)更快速的池，最簡(jiǎn)單的辦法就是使用一個(gè)真實(shí)的設(shè)備而不是一個(gè)基于文件的循環(huán)設(shè)備。過(guò)程幾乎一樣。假設(shè)你有一個(gè)完全空的硬盤(pán)， /dev/sdb，你想把它完全用于容器的存儲(chǔ)，你可以這樣做：
1.停止 Docker 守護(hù)進(jìn)程
2.移除 /var/lib/docker （似曾相識(shí)，對(duì)么？）
3.創(chuàng)建一個(gè)存儲(chǔ)目錄：
mkdir -p /var/lib/docker/devicemapper/devicemapper
4.在目錄下創(chuàng)建一個(gè)數(shù)據(jù)軟鏈接，指向設(shè)備：
ln -s /dev/sdb /var/lib/docker/devicemapper/devicemapper/data
5.重啟 Docker
6.使用 docker info 來(lái)檢查 Data Space Total 的值是否正確
使用 RAID 和 LVM
如果你希望合并多塊相似的磁盤(pán)，可以使用 RADID10 軟件，這個(gè)會(huì)通過(guò)鏈接到 /dev/md 而實(shí)現(xiàn)。另外一個(gè)非常好的選擇是把你的磁盤(pán)（或者RAID磁盤(pán)陣列）放到 LVM 的物理卷中，并且創(chuàng)建兩個(gè)邏輯卷：一個(gè)是數(shù)據(jù)，一個(gè)是元數(shù)據(jù)。對(duì)于元數(shù)據(jù)池的最佳的大小我沒(méi)有什么特別的建議，不過(guò)占數(shù)據(jù)池的 1% 看起來(lái)不錯(cuò)。
就像前面一樣，停止 Docker ，移除它的數(shù)據(jù)目錄，然后創(chuàng)建一個(gè)指向 /dev/mapper 設(shè)備的符號(hào)鏈接，然后重啟 Docker 。
如果你需要更多關(guān)于 LVM 的知識(shí)，請(qǐng)看這里 LVM howto 。
擴(kuò)容容器
默認(rèn)來(lái)說(shuō)，如果你使用 Device Mapper 的存儲(chǔ)插件，所有的鏡像和容器是從一個(gè)初始 10G 的文件系統(tǒng)中創(chuàng)建的。讓我們來(lái)看看如何從一個(gè)更大的文件系統(tǒng)中創(chuàng)建一個(gè)容器。
首先，我們用 Ubuntu 的鏡像來(lái)創(chuàng)建我們的容器。我們不需要在這個(gè)容器里運(yùn)行任何東西，只需要這個(gè)文件（或者關(guān)聯(lián)的文件系統(tǒng)）存在。為了演示，我們會(huì)在這個(gè)容器里運(yùn)行 df ，來(lái)看一下根文件系統(tǒng)的大小。
$ docker run -d ubuntu df -h /
4ab0bdde0a0dd663d35993e401055ee0a66c63892ba960680b3386938bda3603
由于需要修改 Device Mapper 管理中的一些卷的信息，我們現(xiàn)在用 root 的身份來(lái)運(yùn)行一些命令。所有以＃開(kāi)頭的命令都必須以 root 身份來(lái)執(zhí)行。只要能訪(fǎng)問(wèn) Docker 的 Socket 服務(wù)，你也可以用普通用戶(hù)的身份來(lái)執(zhí)行其他的命令（以$開(kāi)頭）。
讓我們看一下 /dev/mapper ，那里應(yīng)該有一個(gè)對(duì)應(yīng)容器文件系統(tǒng)的符號(hào)鏈接，以 docker-X:Y-Z- 開(kāi)頭：
# ls -l /dev/mapper/docker-*-
4ab0bdde0a0dd663d35993e401055ee0a66c63892ba960680b3386938bda3603
lrwxrwxrwx 1 root root 7 Jan 31 21:04 /dev/mapper/docker-0:37-1471009-4ab0bdde0a0dd663d35993e401055ee0a66c63892ba960680b3386938bda3603 -> ../dm-8
注意記住那個(gè)全名，我們未來(lái)會(huì)用到。
首先讓我們來(lái)看一下當(dāng)前卷的信息表：
# dmsetup table docker-0:37-1471009-
4ab0bdde0a0dd663d35993e401055ee0a66c63892ba960680b3386938bda3603
0 20971520 thin 254:0 7
第二個(gè)數(shù)字是設(shè)備的大小，表示有多少個(gè) 512－bytes 的扇區(qū). 這個(gè)值略高于 10GB 的大小。
我們來(lái)計(jì)算一下一個(gè) 42GB 的卷需要多少扇區(qū)，
$ echo $((42*1024*1024*1024/512))
88080384
精簡(jiǎn)快照目標(biāo)的一個(gè)神奇的特點(diǎn)是它不會(huì)限制卷的大小。當(dāng)你創(chuàng)建它的時(shí)候，一個(gè)精簡(jiǎn)的卷使用0個(gè)塊，當(dāng)你開(kāi)始往塊里面寫(xiě)入的時(shí)候，它們會(huì)從共用的塊池中進(jìn)行分配。你可以寫(xiě)0個(gè)塊，或者是10億個(gè)塊，這個(gè)和精簡(jiǎn)快照目標(biāo)沒(méi)關(guān)系。文件系統(tǒng)的大小只和 Device Mapper 表有關(guān)系。
覺(jué)得困惑？不要擔(dān)心。我們只是需要裝載一個(gè)新的表，這個(gè)完全和之前的是一樣的，但是有更多的扇區(qū)。僅此而已。
舊表是 0 20971520 thin 254:0 7 。我們會(huì)改變第二個(gè)數(shù)字，要非常小心保持其他的值不變。你的卷可能不是 7 ，所以要使用正確的值!
這樣操作：
# echo 0 88080384 thin 254:0 7 | dmsetup load docker-0:37-1471009-
4ab0bdde0a0dd663d35993e401055ee0a66c63892ba960680b3386938bda3603
現(xiàn)在如果我們?cè)俅螜z查表的信息，步驟和前面一樣。首先使用下面的命令激活新表:
# dmsetup resume docker-0:37-1471009-
4ab0bdde0a0dd663d35993e401055ee0a66c63892ba960680b3386938bda3603
執(zhí)行完命令后，再次檢查一下表的信息，發(fā)現(xiàn)它會(huì)使用新的扇區(qū)數(shù)量。
我們已經(jīng)調(diào)整了塊設(shè)備的大小，但是我們?nèi)匀恍枰{(diào)整文件系統(tǒng)的大小，我們使用 resize2fs 來(lái)操作:
# resize2fs /dev/mapper/docker-0:37-1471009-
4ab0bdde0a0dd663d35993e401055ee0a66c63892ba960680b3386938bda3603
resize2fs 1.42.5 (29-Jul-2012)
Filesystem at /dev/mapper/docker-0:37-1471009- 4ab0bdde0a0dd663d35993e401055ee0a66c63892ba960680b3386938bda3603 is mounted on /var/lib/docker/devicemapper/mnt/4ab0bdde0a0dd663d35993e401055ee0a66c63892ba960680b3386938bda3603; on-line resizing required
old_desc_blocks = 1, new_desc_blocks = 3
The filesystem on /dev/mapper/docker-0:37-1471009-4ab0bdde0a0dd663d35993e401055ee0a66c63892ba960680b3386938bda3603 is now 11010048 blocks long
作為一個(gè)可選步驟，我們會(huì)重啟容器，檢查一下我們的確有了正確大小的空閑空間:
$ docker start 4ab0bdde0a0dd663d35993e401055ee0a66c63892ba960680b3386938bda3603
$ docker logs 4ab0bdde0a0dd663d35993e401055ee0a66c63892ba960680b3386938bda3603
df: Warning: cannot read table of mounted file systems: No such file or directory
Filesystem Size Used Avail Use% Mounted on
- 9.8G 164M 9.1G 2% /
df: Warning: cannot read table of mounted file systems: No such file or directory
Filesystem Size Used Avail Use% Mounted on
- 42G 172M 40G 1% /
想把整個(gè)過(guò)程自動(dòng)化起來(lái)？當(dāng)然沒(méi)問(wèn)題。
CID=$(docker run -d ubuntu df -h /)
DEV=$(basename $(echo /dev/mapper/docker-*-$CID))
dmsetup table $DEV | sed "s/0 [0-9]* thin/0 $((42*1024*1024*1024/512)) thin/" | dmsetup load $DEV
dmsetup resume $DEV
resize2fs /dev/mapper/$DEV
docker start $CID
docker logs $CID
擴(kuò)容鏡像
不幸的是，當(dāng)前版本的 Docker 不能讓我們很方便地?cái)U(kuò)容鏡像。你可以把鏡像對(duì)應(yīng)的塊設(shè)備進(jìn)行擴(kuò)容，然后從它來(lái)創(chuàng)建一個(gè)容器，但是新的容器不會(huì)有正確的大小。
同樣，如果你提交了一個(gè)很大的容器，最后生成的鏡像也不會(huì)很大（這是由 Docker 為鏡像準(zhǔn)備文件系統(tǒng)的方法造成的）。
這意味著如果一個(gè)容器真的超過(guò)了 10GB ，在不使用一些其他的小技巧的情況下，你沒(méi)法正確的把它提交為一個(gè)鏡像。
總結(jié)
Docker 將來(lái)肯定會(huì)提供一些更好的方法來(lái)擴(kuò)容容器，所需的代碼變動(dòng)是很小的。管理一個(gè)精簡(jiǎn)的池和對(duì)應(yīng)的元信息比較復(fù)雜（因?yàn)檫@個(gè)需要很多不同的操作流程，以及一個(gè)潛在的數(shù)據(jù)遷移。鑒于移除了所有的東西來(lái)構(gòu)件新的池，也就沒(méi)有在本文提及），但是我們今天提到的一些解決方案相信已經(jīng)對(duì)你有所幫助。
