該進入第四章了,剛才看到一個帖子標題:我空有一身泡妞的好本領,但可惜自己是個妞。汗~這個。。。音樂無國界嘛,這個不應該也沒性別界么?
第四章文本處理工具
書中先說明了以下排序的規(guī)則,數值的就不用說了,該大就大該小就小,但是字符型很多時候是區(qū)分聲調或者重音的。在命令行中輸入locale查看自己系統的編碼配置。默認的是系統配置里的,但是可以自己設置排序的編碼。如:
復制代碼 代碼如下:
$ LC_ALL=C sort french-english #以傳統ASCII碼順序排序
下邊介紹以下排序命令sort:
語法: sort [ options ] [ file(s} ]
主要選項: -b 忽略開頭的空白
-c 檢查輸入是否已正確地排序。如果未排序,則退出碼為非零值,不會有任何輸出
-d 字典順序,僅文字數字和空白才有意義。
-g 一般數值:以浮點數字類型比較字段。僅GNU版本提供此選項功能
-f 將混用的字母都看作相同大小寫,即忽略大小寫。
-i 忽略無法打印的字符。
-k 定義排序鍵值字段
-m 將已排序的輸入文件,合并為一個排序后的輸出數據流
-n 以整數類型比較字段
-o outfile 將輸出寫到指定文件
-r 倒置排序由大到小,默認由小到大
-t char 使用單個字符char作為默認的字段分隔符取代空白字符
-u 只有唯一記錄,丟棄所有具有相同鍵值的記錄只留第一條。
另外排序鍵值字段類型標識,即-k一個字段之后的修飾符字母:
b 忽略開頭的空白
d 字典順序
f 不區(qū)分大小寫
g 以一般的浮點數進行比較,只適用GNU版本
i 忽略無法打印的字符
n 以整數數字比較
r 倒置排序順序
字段以及字段里的字符是由1開始編號的。如果僅指定一個字段編號,則排序鍵值會自該字段的起始處開始,一直繼續(xù)到記錄的結尾(而非字段結尾)。
如果給的是一對用逗號隔開的字段數字,則排序鍵值將由第一個字段值起開始,到第二個指定字段結尾結束。可能出現多個-k,會從第一個開始。
例子:
復制代碼 代碼如下:
$ sort -t: -k1,1 /etc/passwd #以用戶名稱排序
$ sort -t: -k2nr /etc/passwd #反向UID的排序
$ sort -t: -k4n -k3n /etc/passwd $以GID與UID排序
關于sort的效率,搞算法的都比較了解目前各種排序算法的效率,這里的sort也沒啥特別的,類似STL估計,組合排序算法盡可能的優(yōu)化過了。不是搞算法的童鞋也不用了解了,相信它的效率就好了。
有時候我們還十分關心排序的穩(wěn)定性,默認情況下是不穩(wěn)定的,但是GNU實現了coreutils包彌補了不足,可以通過--stable選項來解決穩(wěn)定性問題。(不懂穩(wěn)定性的簡單說一下:意思就是排序鍵值等同的時候需要以輸入順序來輸出,即排序不打亂輸入順序)
有時候我們還需要解決輸入數據的重復問題,sort -u能夠解決一些,但是它消除的操作依據的是匹配的鍵值,而非匹配的記錄。uniq命令提供另一種過濾數據的方式:它常用于管道中,用來刪除已適用sort排序完成的重復記錄。uniq有3個好用的選項:-c 可在每個輸出行之前加上該行的重復次數。 -d選項則用于僅顯示重復的行。 -u僅顯示未重復的行。這里需要注意一點,uniq處理數據前是需要sort對數據進行排序的!
另外我們處理大量這樣的數據的時候,我們需要重新格式化段落以方便我們使用或閱讀。這時候可以使用fmt命令,有兩個常用的選項:-s 僅切割較長的行,短行不會合并 ; -w n 則設置輸出行寬度為n個字符(默認75個左右)。要考慮fmt移植性的請另行查詢文檔。
這里對可能使用到的統計行數、字數、字符數的wc命令做一個介紹,選項有-c 字節(jié)數 -l行數 -w 字數 。默認情況下給出行數 字數 字節(jié)數。
好了,處理了那么多文本,我們可能要打印出來看看,unix里支持的打印功能包括兩類不同的命令,但擁有相同的功能,商用的unix系統與GNU/linux通常兩種都支持,不過BSD系統僅支持Berkeley風格,POSIX則只定義了lp命令。
復制代碼 代碼如下:
Berkeley System V 用途
lpr lp 傳送文件到打印隊列
lprm cancel 從打印隊列中刪除文件
lpq lpstat 報告隊列狀態(tài)
兩套命令的例子:
復制代碼 代碼如下:
$ lpr -Plcb102 sample.ps #將PostScript文件傳送給打印隊列l(wèi)cb102
$ lpq -Plcb102 #查看打印隊列狀態(tài)
$ lprm -Plcb102 81352 #停止此進程!結束這個作業(yè)
然后是System V風格的:
復制代碼 代碼如下:
$ lp -d lcb102 sample.ps #傳送PostScript文件到打印隊列l(wèi)cb102
$ lpstat -t lcb102 #查看打印隊列
$ cancel lcb102-81355 #結束這個作業(yè)
有時需打印數據需要加上頁碼或者時間戳,可以使用pr預處理要打印的數據。
語法:pr [ options ] [ file(s) ]
主要選項:
-cn 產生n欄的輸出,可以簡化成-n
-f 在首頁之后的每一頁標題前置一個ASCII分頁字符標題,(有的環(huán)境下是-F)
-h althdr 將頁標題內的文件名稱,改用字符串althdr取代。
-ln 產生n行的頁面
-on 輸出位移n個空白
-t 不顯示標題
-wn 每行至多n個字符。以單欄輸出而言,如有需要會將較長的行切分繞回至另外一行;否則,在多欄輸出的情況下,會截去長的行以符合指定。樣例:
pr -f -l60 -o10 -w65 file(s) | lp 。
還有其他打印工具,這里說的比較簡單,有這方面需求可以再搜些文檔看看。
第五章管道的神奇魔力
在linux下的管理性文件,大部分都是文本文件,可以直接編輯閱讀的,這些文件大部分放在標準目錄:/etc下。我們寫shell腳本的時候大部分時候都是在處理文本信息,而管道是可以一直順序著連著使用的 如 .... | ... | ... 這樣,書中舉了個連著使用5個管道的處理passwd文件的例子說很厲害,大致就是這樣。然后又寫了一個腳本把文本轉化成HTML文件。然后又弄了一個根據正則匹配的腳本來幫助玩文字解密游戲。再然后通過管道計算出了各種莎士比亞基本的單詞出現頻率等。管道的神奇就不羅嗦了。
第六章變量、判斷、重復動作
有兩個相似命令提供變量的管理,一個是readonly,可以將變量設置為只讀模式,就是成為符號常量。export用于修改或者打印環(huán)境變量。他們都由一個-p選項,意思是打印命令的名稱以及所有被導出(只讀)變量的名稱和值,這種方式可使得shell重新讀取輸出以便重新建立環(huán)境(只讀設置)。
export -p可以顯示所有當前的環(huán)境變量,如果要從程序的環(huán)境中刪除變量,則要用env命令,也可以臨時的改變環(huán)境變量值:
env -i PATH=$PATH HOME=$HOME LC_ALL=C .....
-i選項用來初始化(initializes)環(huán)境變量的,也就是丟棄任何的繼承值,僅傳遞命令行上指定的變量給程序使用。
unset命令從執(zhí)行中的shell中刪除變量和函數,默認情況下,它會解除變量設置,也可以加上-v完成:
unset full_name #刪除full_name變量
unset -v firest middle last #刪除多個變量
unset -f full_function #刪除函數
這里我嘗試用unset刪除readonly變量,發(fā)現無法刪除。然后查詢了以下,發(fā)現常量聲明之后就無法更改包括刪除,只有注銷當前shell。
有時候輸出某個變量時,希望連接別的字符,可以在變量名左右添加花括號如:
echo _${myvar}_ #這樣會輸出myvar變量并在前后增加下劃線。
這樣叫做參數的展開。如果變量未定義,展開后是null。
還有一種替換運算符:
${varname:-word} #如果varname存在且非null,則返回其值,否則返回word。
${varname:=word} #如果varname存在且非null,則返回其值,否則設置它為word然后再返回其值。
${varname:?message} #如果varname存在且非null,則返回它的值,否則顯示varname:message,并退出當前的命令或腳本,如果省略message會出現默認信息parameter null or net set。
${varname:+word} #如果varname存在且非null,則返回word,否則返回null。
以上每個運算符內的冒號(:)都是可選的。如果省略冒號,則將每個定義中的“存在且非null”部分改為“存在”,也就是說,運算符僅用于測試變量是否存在。
還有模式匹配運算符#:
${variable#pattern} #如果模式匹配于變量值的開頭處,則刪除匹配的最短部分,并返回剩下的部分。
${variable##pattern} #如果模式匹配于變量值的開頭處,則刪除匹配的最長部分,并返回剩下的部分。
${variable%pattern} #如果模式匹配于變量的結尾處,則刪除匹配的最短部分,并返回剩下的部分。
${variable%%pattern} #如果模式匹配于變量值的結尾處,則刪除匹配的最長部分,并返回剩下的部分。
最后,POSIX標準化字符串長度運算符:${#variable}返回$variable值的字符長度。
學到這里我們就可以結合之前用到的位置參數來進行一些腳本程序的容錯處理了,比如:filename=${1:-/dev/tty} #如果參數1為空則返回/dev/tty
之前我們沒有介紹如何訪問傳遞的參數的總數,這里說明一下,用的是 $# 符合。比如:
復制代碼 代碼如下:
while [ $# !=0 ]
do
case $1 in
.... #處理第一個參數
esac
shift #移除第一個參數
done
另外還有$* ,$@ ,它們一次表示所有的命令行參數。這兩個參數可用來把命令行參數傳遞給腳本或函數所執(zhí)行的程序。
"$*" 表示將所有命令行參數視為單個字符串,等同于”$1 $2 ..."。$IFS的第一個字符用來作為分隔字符,以分隔不同的值來建立字符串。
“$@" 將所有命令行參數視為單獨的個體,也就是單獨字符串。等同于"$1" "$2" ...。這是將參數傳遞給其他程序的最佳方式,因為它會保留所有內嵌在每個參數里的任何空白。
shift命令是用來“截去(lops off)”來自列表的位置參數,由左開始。一旦執(zhí)行shift,$1的初始值會永遠消失,取而代之的是$2的舊值。$2的值變成$3的舊值,以此類推。$#值則會逐次減一。以上幾個要多實驗,不再贅述。
類似的還有很多特殊變量:(所有引用特殊變量前邊加$符號)
# 目前進程的參數個數
@傳遞給當前進程的命令行參數。置于雙引號內,會展開為個別的參數。
* 當前進程的命令行參數。置于雙引號內,則展開為一單獨參數。
- 在引用時給予shell的選項。
? 前一個命令的退出狀態(tài)
$ shell進程的進程編號 process ID
0(零) shell程序的名稱
! 最近一個后臺命令的進程編號
ENV 一旦引用,則僅用于交互式shell中。$ENV的值是可展開的參數。
HOME 根目錄
IFS 內部的字段分隔器,想想awk吧。
LANG 當前l(fā)ocale的默認名稱;其他的LC_*變量會覆蓋其值
LC_ALL 當前l(fā)ocale的名稱,會覆蓋LANG與其他LC_*變量
LC_COLLATE 用來排序字符的當前l(fā)ocale名稱
LC_CTYPE 再模式匹配期間,用來確定字符類別的當前l(fā)ocale的名稱
LC_MESSAGES 輸出信息的當前語言的名稱
LINENO 剛執(zhí)行過的行再腳本或函數內的行編號
NLSPATH 再$LC_MESSAGES(XSI)所給定的信息語言里信息目錄位置。
PATH 命令的查找路徑
PPID 父進程的進程編號
PS1 主要的命令提示字符串,默認為“$”
PS2 行繼續(xù)的提示字符串,默認為"> "
PS4 以set -x設置的執(zhí)行跟蹤的提示字符串。默認為“+ ”。
PWD 當前工作目錄。
shell的算數運算符基本跟C語言一樣,想直接在命令行測試算數運算符的需要這樣加雙括號:echo $(( 34 )) 之類的。
有一個要知道的地方,每一條命令,不管是內置的、shell函數,還是外部的,當它退出時,都會返回一個小的整數值給引用它的程序,這就是大家所熟悉的程序的退出狀態(tài)(exit statu)。在shell下執(zhí)行進程時,有許多方式可取用程序的退出狀態(tài)。慣例來講,退出狀態(tài)為0表示成功執(zhí)行完成,其他狀態(tài)都是失敗的。可以用ls命令執(zhí)行對一次錯一次分別看看返回狀態(tài)是多少(上邊有講特殊變量 $? 可查看上一條命令的返回狀態(tài))。
POSIX的結束狀態(tài):
0 命令成功地退出
>0 在重定向或單詞展開期間(~,變量,命令,算符展開,單詞切割)失敗。
1-125 命令不成功地退出,具體含義由各個單獨的命令定義。
126 命令找到了,但文件無法執(zhí)行。
127 命令找不到。
>128 命令因收到信號而死亡。
令人好奇的是,POSIX留下退出狀態(tài)128未定義,僅要求它表示某種失敗。因為只有低位的8個位會返回給父進程,所以大于255的退出狀態(tài)都會替換成該值除以256之后的余數。返回值命令:exit value_number 。
關于判斷語句 if-then-elif-else-fi 語句給個語法不再贅述:
復制代碼 代碼如下:
if pipeline
[ pipeline ... ]
then
statements-if-true-1
[ elif pipeline
[ pipeline ... ]
then
statements-if-true-2 ... ]
[ else
statements-if-all-else-fails ]
fi
if判斷力你可以使用 !、、|| 等C語言里的這些邏輯判斷符號。
這里介紹一個test命令,它為了測試shell腳本里的條件,通過退出狀態(tài)返回其結果,它有第二種形式即 [...] ,單要注意的是方括號根據字面意義逐字地輸入,且必須與括號起來的expression以空白隔開。如:test "$str1" = "$str2" 等同于 [ "$str1" = "$str2" ] 。test有好多參數啊,好多。。。自己man吧(敢不敢把26個字母都用完?!!! TT)。這里給出之前的finduser腳本的改良版:
復制代碼 代碼如下:
#! /bin/sh
#finduser --- 尋找是否有第一個參數指定的用戶
if [ $# -ne 1 ]
then
echo Usage: finduser username >2
exit 1
fi
who | grep $1
關于case語句,給出例子不再贅述,都十分雷同C語言的。
復制代碼 代碼如下:
case $1 in #測試$1
-f )
.... #針對-f選項的程序代碼
;; ##類似break
-d | --directory ) #支持長選項
...
* ) #上邊都不匹配的默認選項,非必須
echo $1:unknow option >2
exit 1
;; #也非必須
esac
關于for循環(huán),給出一個實例:
復制代碼 代碼如下:
for i in atlbrochure*.xml
do
echo $i
mv $i $i.old
sed 's/Athlanta/, the capital of the South/' $i.old >$i
done
這個循環(huán)將每個原始文件備份為副文件名為.old的文件,之后再使用sed處理文件建立新文件。同時有輸出文件名,作為進度的一種提示。另外for循環(huán)里的in列表(list)是可選的,如果省略則遍歷整個命令行參數,就好像輸入了 for i in "$@" 。
while和until循環(huán)也都類似,語法為:
復制代碼 代碼如下:
while condition
do
statements
done
until condition
do
statements
done
兩者不同之處在于如何對待condition的退出狀態(tài),只要condition成功,while就繼續(xù)循環(huán)。只要condition不成功,until則一直循環(huán)。
在以上循環(huán)里,你仍然可以使用break和continue,功能同C語言一樣。
shift之前提到過,它還可以接受一個可選參數,也就是要移動幾位。
針對參數的處理有一個getopts命令簡化了選項處理,它能理解POSIX選項中將多個選項字母組織到一起的用法,也可以用來遍歷整個命令行參數,一次一個參數。該命令會自動過濾掉參數里的-,--等符號。如果得到不合法選項字母,該命令會返回一個?符號。
shell腳本里的函數,一般可以定義在程序的最前部,也可以放在另一個獨立文件里,并且以點號(.)命令來取用(source)它們。給出一個簡單實例:
復制代碼 代碼如下:
# wait_for_user user [ sleeptime ]
#
#語法:wait_for_user user [ sleeptime ]
wait_for_user () {
until who | grep "$1" > /dev/null
do
sleep ${2:-30}
done
}
調用直接 wait_for_user admin ,還可以接受第二個等待時間參數。在shell函數里,return與exit工作方式相同,可返回一個值,但是需要注意的是在shell函數里使用exit會終止整個shell命令。
您可能感興趣的文章:- shell腳本學習指南[一](Arnold Robbins & Nelson H.F. Beebe著)
- shell腳本學習指南[六](Arnold Robbins & Nelson H.F. Beebe著)
- shell腳本學習指南[五](Arnold Robbins & Nelson H.F. Beebe著)
- shell腳本學習指南[四](Arnold Robbins & Nelson H.F. Beebe著)
- shell腳本學習指南[三](Arnold Robbins & Nelson H.F. Beebe著)