技術棧及文檔

　　資源調度框架MESOS

　　應用編排平臺Marathon

　　nginx動態修改upstream dyups

　　nginx動態修改upstream upsync

　　使用Mesos進行機器資源管理

　　首先，是機器資源的管理。在微服務的架構中，原有的單體服務被拆分成了一個個獨立單元的應用程序，這些服務體量較小，可以獨立運行在配置較小的機器上。為了故障隔離，我們會盡可能的把這些服務部署在不同的虛擬機上，這樣機器的數量會成倍增加。對于運維來說，每個新服務部署時，需要先查看現有機器的剩余資源是否滿足新服務的需求，有時可能因為評估不準確造成來回擴容、遷移，或者資源浪費。

　　開始時，我們的架構可能時這樣的

　　為了解決上面的問題，可以使用MESOS（布式資源管理框架），它可以讓我們像用一臺電腦（一個資源池）一樣使用整個數據中心。

　　mesos部署時分為master和agent兩個角色，當然，你可以在同一臺機器啟動它們。

　　安裝Mesos前需要安裝zookeeper，mesos使用zk實現高可用和選舉，包括一個masterleader和幾個備份master避免宕機。

　　Mesos master負責管理各個Framework和Slave，并將Slave上的資源非配給各個Framework。

　　Mesos agent負責管理本節點上的各個MesosTask，為各個Executor分配資源(低版本為mesos-slave)。

　　當mesos服務啟動后，agent會向master節點匯報機器資源，包括CPU、內存、磁盤等。當我們要發布一個服務時，只需要設置這個服務的CPU、內存、磁盤參數，mesosmaster會自動幫我們選擇有足夠資源的機器去運行，如下圖

　　我們將微服務的啟動都交給Mesos管理，這樣我們只需要關注整體資源即可。MESOS提供了UI界面，可以直接訪問mesosmaster的5050端口，查看集群資源使用情況。總體使用情況及Agent節點使用情況

　　完成以上后，我們的架構變成了這樣

　　使用Marathon進行微服務管理

　　Marathon是建立在Mesos上的私有PaaS平臺。它能自動處理硬件或者軟件故障，并確保每個應用程序都永遠在線。我們使用Marathon管理微服務有以下優勢

　　支持容器和非容器，不受限于服務啟動類型，操作系統版本等

　　漂亮而強大的用戶界面，可以在UI上進行快捷方便的應用程序配置

　　支持約束條件，例如允許一個mesos agent節點只運行一個應用程序

　　支持健康檢查。可以配置http、https、tcp、command類型的監控檢查

　　完整的RESTAPI，易于集成和編寫腳本。這個對于后期集成來說至關重要

1. # Add the repository
2. $ sudo rpm -Uvh http://repos.mesosphere.com/el/7/noarch/RPMS/mesosphere-el-repo-7-2.noarch.rpm
4. # Install packages
5. $ sudo yum -y install mesos marathon
7. # marathon and mesos zk path
8. $ cat /etc/default/marathon
9. MARATHON_MESOS_USER="root"
10. MARATHON_MASTER="zk://192.168.100.9:2181,192.168.100.110:2181,192.168.100.234:2181/mesos"
11. MARATHON_ZK="zk://192.168.200.9:1181,192.168.100.110:2181,192.168.100.234:2181/marathon"
13. systemctl start marathon

　　啟動后，直接訪問marathon的8080端口，就能看到一個漂亮強大的UI界面。

　　我們以springboot應用為例，在marathon上創建一個應用程序

　　當我們更新應用程序時，marathon會新建相同實例數量的應用程序，待healthcheck通過之后替換老節點，所以不需要擔心新的服務沒有啟動期間老的服務停掉造成線上事故。到這里為止，我們已經可以在marathon上方便快捷的進行日常應用的創建、升級、擴容、縮容。當服務健康檢查失敗或者機器宕機后，marathon會自動在其它節點上啟動掛掉的應用程序，大大提升了高可用性。

　　使用nginx upsync/dyups模塊進行平滑變更

　　當我們的微服務可以隨機分配在不同機器上時，便產生了一個新的令人頭疼的問題。nginx并不知道后端節點的變更，也不可能每次都去手動修改upstream節點，reloadnginx，這樣成本就太高了。我們的解決思路是和微服務的注冊中心打通，當服務注冊、注銷時，都會對注冊中心進行更新，利用nginx upsync/dyups模塊可以動態修改upstream節點的能力進行同步，做到平滑變更。如果使用的注冊中心為consul，建議使用upsync模塊，這樣無需開發，只需要簡單的nginx配置，就可以實現我們想要的效果，支持consulkv，consul_services，consul_health，同時upsync也支持etcd。建議使用consul_health接口。upsync模塊不是nginx內置模塊，使用時需要重新編譯添加此模塊。

1. wget 'http://nginx.org/download/nginx-1.8.0.tar.gz'
2. tar -xzvf nginx-1.8.0.tar.gz
3. cd nginx-1.8.0/
6. ./configure --add-module=/path/to/nginx-upsync-module
7. make
8. make install

　　配置文件示例

1. http {
2. upstream test {
3. upsync 127.0.0.1:8500/v1/health/service/test upsync_timeout=6m upsync_interval=500ms upsync_type=consul_health strong_dependency=off;
4. upsync_dump_path /usr/local/nginx/conf/servers/servers_test.conf;
6. include /usr/local/nginx/conf/servers/servers_test.conf;
7. }
9. upstream bar {
10. server 127.0.0.1:8090 weight=1 fail_timeout=10 max_fails=3;
11. }
13. server {
14. listen 8080;
16. location = /proxy_test {
17. proxy_pass http://test;
18. }
20. location = /bar {
21. proxy_pass http://bar;
22. }
24. location = /upstream_show {
25. upstream_show;
26. }
28. }
29. }

　　當upsync無法滿足我們的需求或者注冊中心不是consul、etcd時，我們可以考慮使用nginxdyups模塊。dyups僅對外提供upstream的增刪查改接口，和注冊中心對比、修改的工作需要我們通過腳本的方式完成。雖然這種方式麻煩一些，但是可定制化程度高，支持http，C，luaAPI，基本上可以滿足大部分的場景需求。

　　dyups模塊也需要nginx編譯時添加

1. $ git clone git://github.com/yzprofile/ngx_http_dyups_module.git
4. # to compile as a static module
5. $ ./configure --add-module=./ngx_http_dyups_module
8. # to compile as a dynamic module
9. $ ./configure --add-dynamic-module=./ngx_http_dyups_module

1. http {
3. include conf/upstream.conf;
5. server {
6. listen 8080;
8. location / {
9. # The upstream here must be a nginx variable
10. proxy_pass http://$dyups_host;
11. }
12. }
14. server {
15. listen 8088;
16. location / {
17. return 200 "8088";
18. }
19. }
21. server {
22. listen 8089;
23. location / {
24. return 200 "8089";
25. }
26. }
28. server {
29. listen 8081;
30. location / {
31. dyups_interface;
32. }
33. }
34. }

　　特別注意，使用dyups時，proxy_pass時的upstream必須是nginx變量，否則不生效，切記。

　　整體回顧

　　經過以上調整，我們得到了以下優化

　　服務器資源自動分配，合理利用

　　提升微服務的高可用性

　　減低OPS人工成本，更加便于管理和維護