目錄
- 1. 前言
- 2. pexpect 介紹
- 3. 實(shí)戰(zhàn)一下
- 3-1 SSH 登錄
- 3-2 封裝發(fā)送命令
- 3-3 進(jìn)入容器 pod 日志目錄
- 3-4 獲取日志內(nèi)容
- 4. 最后
1. 前言
對大部分的人來說,解決 Bug 都是依靠關(guān)鍵字去日志去定位問題!
在調(diào)試情況下,我們可以實(shí)時在控制臺查看日志;但對于部署到服務(wù)器上的應(yīng)用,日志都存放在服務(wù)器某個目錄下,沒法通過本地查看到
這種情況下,就需要我們先登錄服務(wù)器,然后進(jìn)入到日志目錄文件夾,最后通過日志文件去定位問題;如果涉及到 K8s 容器,可能還需要使用 kubectl 命令進(jìn)入到服務(wù)對應(yīng)的容器中,進(jìn)入到日志目錄,才能開始定位問題,這一切顯得非常繁瑣且低效
本篇文章介紹一款 Python 依賴庫:pexpect,作為一款命令行自動化工具,它可以幫助我們一鍵獲取日志,快速定位問題!
2. pexpect 介紹
pexpect 是 Python 語言實(shí)現(xiàn)的類 Expect 的一種實(shí)現(xiàn),通過產(chǎn)生子應(yīng)用程序并控制它們,通過期望模式對子應(yīng)用程序的輸出做出相應(yīng)處理
項目地址:
https://github.com/pexpect/pexpect/tree/5eed1a31a2853a09b7367c59fbd1a4a0b53341df
它主要對人機(jī)對話進(jìn)行模擬,來實(shí)現(xiàn)一些自動化的場景
比如:用來和 SSH、FTP、PASSWD、Telnet 等命令行程序進(jìn)行自動化交互
在使用之前,我們先安裝依賴包
# 安裝依賴庫
pip3 install pexpect
3. 實(shí)戰(zhàn)一下
我們以從服務(wù)器 K8S 容器獲取日志為例進(jìn)行講解
3-1 SSH 登錄
首先,初始化使用 pexpect 模擬 SSH 遠(yuǎn)程登錄服務(wù)器
import pexpect
PROMPT = ['# ', '>>> ', '> ', '\$ ']
def login_with_pexpect():
"""
登錄-pexpect
:return:
"""
# 端口號
port = **
# 用戶名
user = **
# 密碼
pwd = **
# ip地址
ip = **
ssh_cmd = "ssh -p {} {}@{}".format(port,user,ip)
# 指定登錄命令,拿到程序操作句柄
child = pexpect.spawn(ssh_cmd, timeout=60, encoding='utf-8')
# 提示輸入密碼的字符出現(xiàn),否則超時
ret = child.expect([pexpect.TIMEOUT, '[P|p]assword: '], timeout=10)
# 匹配成功后,輸入密碼,執(zhí)行登陸操作
if ret == 1:
# 發(fā)送密碼
child.sendline(pwd)
child.expect(PROMPT)
return child
else:
print('登錄失敗!')
其中
pexpect.spawn() :用于執(zhí)行一個程序,并返回一個操作句柄
該方法常見的 3 個參數(shù)如下:
- 第一個參數(shù)是待執(zhí)行的命令
- 第二個參數(shù)指定超時時間,程序執(zhí)行后的輸出檢查,如果指定時間內(nèi)沒有匹配到結(jié)果,就會拋異常
- 第三個參數(shù)用于設(shè)置編碼格式
child.expect() :對輸出結(jié)果,利用正則表達(dá)式進(jìn)行關(guān)鍵字匹配
代碼中的含義是在 10s 內(nèi)等待出現(xiàn)關(guān)鍵字 '[P|p]assword: '
最后,如果匹配的結(jié)果為 1,使用 sendline() 方法發(fā)送帶回車符的字符串,模擬密碼的輸入,完成登錄操作
3-2 封裝發(fā)送命令
接下來,我們將操作句柄發(fā)送命令進(jìn)行一次封裝,并獲取返回結(jié)果
def send_command(child, cmd, expected_content=None, timeout=10):
"""
發(fā)送一條命令,并打印結(jié)果
:param expected_content:
:param child:
:param cmd:
:return:
"""
# 發(fā)送一條命令
if expected_content is None:
expected_content = ["#"]
child.sendline(cmd)
# 期望有命令行提示字符出現(xiàn)
child.expect(expected_content, timeout=timeout)
# 將之前的內(nèi)容都輸出
result = child.before
return result
需要指出的是,child.before 用于獲取到匹配到關(guān)鍵字為止,緩存里面已有的全部數(shù)據(jù)
3-3 進(jìn)入容器 pod 日志目錄
使用上面的方法,通過 kubectl 進(jìn)入到對應(yīng)的容器日志目錄
# 登錄pod容器
exec_enter_pod = 'kubectl -n %s exec -it %s bash' % (env, pod_name)
# 進(jìn)入容器
send_command(child, exec_enter_pod)
# 進(jìn)入到日志目錄
send_command(child, "cd logs", expected_content='tomcat/logs#')
3-4 獲取日志內(nèi)容
最后我們只需要組成獲取日志的命令
比如:使用 grep/tail 命令組成一個提取日志文件的命令
然后使用句柄對象發(fā)送這條命令
最后,對返回內(nèi)容進(jìn)行清洗即可
4. 最后
文中使用 pexpect 實(shí)現(xiàn)了一個非常簡單的場景
事實(shí)上,大部分人機(jī)對話自動化交互都可以由它來實(shí)現(xiàn),比如,下載日志、實(shí)時配置、遠(yuǎn)程打包下載等
以上就是python基于pexpect庫自動獲取日志信息的詳細(xì)內(nèi)容,更多關(guān)于python pexpect庫自動獲取日志的資料請關(guān)注腳本之家其它相關(guān)文章!
您可能感興趣的文章:- python實(shí)現(xiàn)自定義日志的具體方法
- Python 第三方日志框架loguru使用
- python和websocket構(gòu)建實(shí)時日志跟蹤器的步驟
- 解決python logging遇到的坑 日志重復(fù)打印問題
- python 實(shí)現(xiàn)多進(jìn)程日志輪轉(zhuǎn)ConcurrentLogHandler
- python 實(shí)現(xiàn)logging動態(tài)變更輸出日志文件名
- python (logging) 日志按日期、大小回滾的操作
- 詳解python日志輸出使用配置文件格式
- Python日志打印里logging.getLogger源碼分析詳解
- python subprocess pipe 實(shí)時輸出日志的操作
- Python中l(wèi)ogging日志的四個等級和使用
- 如何在Python項目中引入日志