背景介紹:
查詢MongoDB配置參數(shù),可以知道關(guān)于最大連接數(shù)的參數(shù)是maxConns。但是連接實(shí)例后,查看支持的最大連接數(shù),還是默認(rèn)的819。
說(shuō)明:最大連接數(shù)是由maxConn (maxIncomingConnections)和操作系統(tǒng)單個(gè)進(jìn)程能打開的最大文件描述符數(shù)總量的80%決定的,取兩個(gè)之間的最小值。默認(rèn)單個(gè)進(jìn)程能打開的最大文件描述符數(shù)為1024,1024*80% = 819.2 取整數(shù)819。所以最大可以支持的并發(fā)連接數(shù)為819。
案例重現(xiàn)
以下為本次測(cè)試MongoDB案例配置的參數(shù)。

啟動(dòng)后查看最大連接數(shù)。
運(yùn)行命令:db.serverStatus().connections

Current表示當(dāng)前到實(shí)例上正在運(yùn)行的連接數(shù)。
Available表示當(dāng)前實(shí)例還可以支持的并發(fā)連接數(shù)。
也就是說(shuō)此實(shí)例最大能支持的并發(fā)連接數(shù)為:Current+available=3+816=819.
所以設(shè)置的maxConns參數(shù)無(wú)效。所以設(shè)置的maxConns參數(shù)無(wú)效!所以設(shè)置的maxConns參數(shù)無(wú)效!所以設(shè)置的maxConns參數(shù)無(wú)效!
答案求索
此時(shí)查看查看網(wǎng)上相關(guān)資料,大部分集中在 Linux系統(tǒng)最大文件描述符數(shù)。查看我們系統(tǒng)配置,此時(shí)已經(jīng)是65535了。不是系統(tǒng)最大文件描述符數(shù)限制的了。

轉(zhuǎn)個(gè)彎,因?yàn)槲覀兪菫椴僮飨到y(tǒng)是 centos 7 ,所以我們的mongodb服務(wù)是透過(guò)systemctl來(lái)管理的。那如果是通過(guò)service 命令來(lái)管理此服務(wù)呢?
測(cè)試1 測(cè)試用service來(lái)管理mongodb 服務(wù) 對(duì)最大連接數(shù)的影響
(1) 在/etc/init.d目錄下創(chuàng)建名為mongodbtest0903的服務(wù);
(2) 服務(wù)的配置如下:

(3) 賦予執(zhí)行權(quán)限,然后開啟服務(wù)

(4) 此時(shí)查看連接數(shù)為2500(為maxConns參數(shù)值)

(5) 關(guān)閉 mongodb 服務(wù)

以上說(shuō)明用service 來(lái)管理服務(wù),最大連接數(shù)參數(shù)起作用了。
測(cè)試2 如果直接用Mongodb command打開呢?
(1) 直接開啟

(2)此時(shí)查看連接數(shù)為2500(為maxConns參數(shù)值)

(3)關(guān)閉此服務(wù)

以上說(shuō)明直接開啟Mongodb服務(wù),最大連接數(shù)參數(shù)起作用了。
通過(guò)service和 mongodb命令啟動(dòng)服務(wù),最大連接數(shù)都是設(shè)置的參數(shù),而通過(guò)systemctl來(lái)開啟此服務(wù)就變成了默認(rèn)的819.
探究
我們來(lái)具體分析下systemctl 開啟的 mongodb 服務(wù)(此服務(wù)定義為mongodbtest0903)。
(1)查看此服務(wù)的所有配置細(xì)節(jié)的命令
systemctl show mongodbtest0903.service
部分細(xì)節(jié)如下

此時(shí) LimitNOFILE=4096
(2) 查看此服務(wù)的進(jìn)程,以及此進(jìn)程下的資源限制

進(jìn)程的資源限制

終于看到了 資源限制是1024。
問(wèn)題1:為什么經(jīng)過(guò)systemctl 啟動(dòng)的mongodb服務(wù)變成了默認(rèn)的819.
回答:因?yàn)閟ystemctl 啟動(dòng)的服務(wù)進(jìn)程其最大文件描述符數(shù)變成了1024. 1024*80% = 819.2 取整數(shù)819.
問(wèn)題2:為什么系統(tǒng)設(shè)置的最大是65525 而 systemctl 變成了1024.
在Centos7系統(tǒng)中,使用Systemd替代了之前的SysV。/etc/security/limits.conf文件的配置作用域縮小了。/etc/security/limits.conf的配置,只適用于通過(guò)PAM認(rèn)證登錄用戶的資源限制,它對(duì)systemd的service的資源限制不生效。
其實(shí)仔細(xì)查看/etc/security/limits.conf文件的注釋,說(shuō)明了對(duì)系統(tǒng)服務(wù)不生效。

解決方案
解決方案,知道了問(wèn)題所在,針對(duì)此問(wèn)題尋找解決方案相對(duì)容易了。
解決方案1:針對(duì)單個(gè) systemctl 管理的服務(wù)。
在/lib/systemd/system中找到具體的服務(wù),增加
# (open files)
LimitNOFILE=64000
命令。 修改后為:

重啟服務(wù),此時(shí)連接查看最大連接數(shù)為2500,到達(dá)設(shè)置的參數(shù)。
解決方案2 網(wǎng)上有種方案是對(duì)systemd全局修改。此方案本作者沒有驗(yàn)證,轉(zhuǎn)述如下,意思是修改/etc/systemd/system.conf 即可:
全局的配置,放在文件/etc/systemd/system.conf和/etc/systemd/user.conf。 同時(shí),也會(huì)加載兩個(gè)對(duì)應(yīng)的目錄中的所有.conf文件/etc/systemd/system.conf.d/*.conf和/etc/systemd/user.conf.d/*.conf
其中,system.conf是系統(tǒng)實(shí)例使用的,user.conf用戶實(shí)例使用的。一般的sevice,使用system.conf中的配置即可。systemd.conf.d/*.conf中配置會(huì)覆蓋system.conf。
DefaultLimitCORE=infinity
DefaultLimitNOFILE=100000
DefaultLimitNPROC=100000
注意:修改了system.conf后,需要重啟系統(tǒng)才會(huì)生效。
因?yàn)榉?wù)器上systemctl會(huì)管理多種服務(wù),為減少對(duì)其它服務(wù)的影響,建議在單個(gè)服務(wù)上修改,集采用第一種方案。
其他相關(guān)知識(shí)
(1)mysql 服務(wù)也會(huì)遇到類似問(wèn)題;
(2)* nofiles - soft limit on the number of file descriptors a process may have;
(3)*soft limit與hard limit的不同:soft limit是真正生效的限制值,而hard limit僅僅是soft limit調(diào)整范圍的一個(gè)上限。
連接數(shù)優(yōu)化:
通過(guò)serverStatus查詢連接數(shù):
mongo> db.serverStatus().connections
每個(gè)連接都是一個(gè)線程,需要一個(gè)Stack,Linux下缺省的Stack設(shè)置一般比較大:
shell> ulimit -a | grep stack stack size (kbytes, -s) 10240
至于MongoDB實(shí)際使用的Stack大小,可以用如下命令確認(rèn)(單位:K):
shell> cat /proc/$(pidof mongod)/limits | grep stack | awk -F 'size' '{print int($NF)/1024}'
如果Stack過(guò)大(比如:10240K)的話沒有意義,簡(jiǎn)單對(duì)照命令結(jié)果中的Size和Rss:
shell> cat /proc/$(pidof mongod)/smaps | grep 10240 -A 10
所有連接消耗的內(nèi)存加起來(lái)會(huì)相當(dāng)驚人,推薦把Stack設(shè)置小一點(diǎn),比如說(shuō)1024:
注:從MongoDB1.8.3開始,MongoDB會(huì)在啟動(dòng)時(shí)自動(dòng)設(shè)置Stack。
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,如果有疑問(wèn)大家可以留言交流,謝謝大家對(duì)腳本之家的支持。
您可能感興趣的文章:- 解決啟動(dòng)MongoDB錯(cuò)誤:error while loading shared libraries: libstdc++.so.6:cannot open shared object file:
- 關(guān)于Mongodb參數(shù)說(shuō)明與常見錯(cuò)誤處理的總結(jié)
- Mongodb常見錯(cuò)誤與解決方法小結(jié)(Mongodb中經(jīng)常出現(xiàn)的錯(cuò)誤)
- MongoDB錯(cuò)誤32-bit servers don''t have journaling enabled by default解決方法
- 解決mongodb在ubuntu下啟動(dòng)失敗,提示couldn‘t remove fs lock errno:9 Bad file descriptor的錯(cuò)誤
- mongodb錯(cuò)誤tcmalloc: large alloc out of memory, printing stack and exiting解決辦法
- MongoDB磁盤IO問(wèn)題的3種解決方法
- Win10 安裝 MongoDB 3.6.5 失敗的問(wèn)題及解決方法
- mongodb 3.4下遠(yuǎn)程連接認(rèn)證失敗的解決方法
- MongoDb的"not master and slaveok=false"錯(cuò)誤及解決方法