LINUX的awk和sed的常用用法 && 正則表達式 grep egrep用法
awk的用法
a w k語言的最基本功能是在文件或字符串中基于指定規則瀏覽和抽取信息
調用awk
有三種方式調用a w k，
第一種是命令行方式，如：
awk –F : ‘commands’ input-files
第二種方法是將所有a w k命令插入一個文件，并使a w k程序可執行，然后用a w k命令作為腳本的首行，以便通過鍵入腳本名稱來調用它。
第三種方式是將所有的a w k命令插入一個單獨文件，然后調用：
awk –f awk-script-file input-files
awk腳本
模式和動作
在命令中調用a w k時，a w k腳本由各種操作和模式組成。模式包括兩個特殊字段B E G I N和E N D。
使用B E G I N語句設置計數和打印頭。B E G I N語句使用在任何文本瀏覽動作之前。E N D語句用來在a w k完成文本瀏覽動作后打印輸出文本總數和結尾狀態標志。
實際動作在大括號{ }內指明。
域和記錄
$ 0，意即所有域
? 確保整個a w k命令用單引號括起來。
? 確保命令內所有引號成對出現。
? 確保用花括號括起動作語句，用圓括號括起條件語句。
awk中的正則表達式
+ 使用+匹配一個或多個字符。
？ 匹配模式出現頻率。例如使用/X Y?Z/匹配X Y Z或Y Z。
awk '{if($4~/Brown/) print $0}' tab2
等效于
awk '$0 ~ /Brown/' tab2
內置變量
awk '{print NF,NR,$0}END{print FILENAME}' tab1
NF 域的總數
NR已經讀取的記錄數
FILENAME
awk '{if(NR>0 && $2~/JLNQ/) print $0}END{print FILENAME}' tab1
顯示文件名
echo "/app/oracle/ora_dmp/lisx/tab1" | awk -F/ '{print $NF}'
定義域名
awk '{owner=$2;number=$3;if(owner~/SYSADMIN/ && number!=12101)print $0}END{print FILENAME}' tab1
awk 'BEGIN{NUM1=7}{if($1<=NUM1) print $0}END{print FILENAME}' tab1
當在a w k中修改任何域時，重要的一點是要記住實際輸入文件是不可修改的，修改的只是保存在緩存里的a w k復本
awk 'BEGIN{NUM1=7}{if($1<=NUM1) print $1+2,$2,$3+100}END{print FILENAME}' tab1
只打印修改部分：用{}
awk 'BEGIN{NUM1=7}{if($1<=NUM1){$2="ORACLE"; print $0}}END{print "filename:"FILENAME}' tab1
可以創建新的域
awk 'BEGIN{NUM1=7;print "COL1"tCOL2"tCOL3"tCOL4"}{if($1<=NUM1){$4=$1*$3;$2="ORACLE"; print $0}}END{print "filename:"FILENAME}' tab1
打印總數：
awk 'BEGIN{NUM1=7;print "COL1"tCOL2"tCOL3"tCOL4"}{if($1<=NUM1){tot+=$3;$4=$1*$3;$2="ORACLE"; print $0}}END{print "filename:"FILENAME "total col3:" tot}' tab1
使用此模式打印文件名及其長度，然后將各長度相加放入變量t o t中。
ls -l | awk '/^[^d]/ {print$9""t"$5} {tot+=$5}END{print "total KB:" tot}'
內置字符串函數
gsub 字符要用引號，數字不用
awk 'gsub(/12101/,"hello") {print $0} END{print FILENAME}' tab1
awk 'gsub(/12101/,3333) {print $0} END{print FILENAME}' tab1
index
awk '{print index($2,"D")""t";print $0}' tab1
awk '{print index($2,"D")""t" $0}' tab1
length
awk '{print length($2)""t" $0}' tab1
ma
awk '{print match($2,"M")""t" $0}' tab1
split
awk '{print split($2,new_array,"_")""t" $0}' tab1
sub 替換成功返回1,失敗返回0
awk '{print sub(/SYS/,"oracle",$2)""t" $0}' tab1
substr
awk '{print substr($2,1,3)""t" $0}' tab1
從s h e l l中向a w k傳入字符串
echo "Stand-by" | awk '{print length($0)""t"$0}'
8 Stand-by
file1="tab1"
cat $file1 | awk '{print sub(/ADMIN/,"sss",$2)""t"$0}'
字符串屏蔽序列
" b 退格鍵 " t t a b鍵
" f 走紙換頁 " d d d 八進制值
" n 新行 " c 任意其他特殊字符，例如" "為反斜線符號
" r 回車鍵
awk printf修飾符
- 左對齊
Wi d t h 域的步長，用表示步長
. p r e c 最大字符串長度，或小數點右邊的位數
如果用格式修飾輸出，要指明具體的域，程序不會自動去分辨
awk '{printf "%-2d %-10s %d"n", $1,$2,$3}' tab1
輸出結果
9 SYSADMIN 12101
9 SYSADMIN 12101
14 SYSADMIN 121010000012002
9 SYSADMIN 12101
2 JLNQ 12101
2 JLNQ 12101
7 SYSADMIN 12101
7 SYSADMIN 12101
6 ac_ds_e_rr_mr 13333
向一行a w k命令傳值
awk 'BEGIN{SYS="SYSADMIN"}{if($2==SYS) printf "%-2d %-10s %d"n", $1,$2,$3}' tab1
在動作后面傳入
awk '{if($2==SYS) printf "%-2d %-10s %d"n", $1,$2,$3}' SYS="SYSADMIN" tab1
awk腳本文件
SED用法
sed怎樣讀取數據
s e d從文件的一個文本行或從標準輸入的幾種格式中讀取數據，將之拷貝到一個編輯緩沖區，然后讀命令行或腳本的第一條命令，并使用這些命令查找模式或定位行號編輯它。重復此過程直到命令結束。
調用s e d有三種方式
使用s e d命令行格式為：
sed [選項] s e d命令 輸入文件。
記住在命令行使用s e d命令時，實際命令要加單引號。s e d也允許加雙引號。
使用s e d腳本文件，格式為：
sed [選項] -f sed腳本文件 輸入文件
要使用第一行具有s e d命令解釋器的s e d腳本文件，其格式為：
s e d腳本文件 [選項] 輸入文件
使用s e d在文件中定位文本的方式
x x為一行號，如1
x , y 表示行號范圍從x到y，如2，5表示從第2行到第5行
/ p a t t e r n / 查詢包含模式的行。例如/ d i s k /或/[a-z]/
/ p a t t e r n / p a t t e r n / 查詢包含兩個模式的行。例如/ d i s k / d i s k s /
p a t t e r n / , x 在給定行號上查詢包含模式的行。如/ r i b b o n / , 3
x , / p a t t e r n / 通過行號和模式查詢匹配行。3 , / v d u /
x , y ! 查詢不包含指定行號x和y的行。1 , 2 !
sed編輯命令
p 打印匹配行
= 顯示文件行號
a" 在定位行號后附加新文本信息
i" 在定位行號后插入新文本信息
d 刪除定位行
c" 用新文本替換定位文本
s 使用替換模式替換相應模式
r 從另一個文件中讀文本
w 寫文本到一個文件
q 第一個模式匹配完成后推出或立即推出
l 顯示與八進制A S C I I代碼等價的控制字符
{ } 在定位行執行的命令組
n 從另一個文件中讀文本下一行，并附加在下一行
g 將模式2粘貼到/pattern n/
y 傳送字符
n 延續到下一輸入行；允許跨行的模式匹配語句
sed編程舉例
打印單行 sed -n '2p' quo*
打印范圍 sed -n '1,3p' quote.txt
打印有此模式的行 sed -n '/disco/'p quote.txt
使用模式和行號進行查詢 sed -n '4,/The/'p quote.txt
sed -n '1,/The/'p quote.txt 會打印所有記錄？
用.*代表任意字符 sed -n '/.*ing/'p quote.txt
打印行號 sed -e '/music/'= quote.txt 或sed -e '/music/=' quote.txt
如果只打印行號及匹配行，必須使用兩個s e d命令，并使用e選項。
第一個命令打印模式
匹配行，第二個使用=選項打印行號，格式為sed -n -e /pattern/p -e /pattern/=。
sed -n -e '/music/p' -e '/music/'= quote.txt
先打印行號，再打印匹配行
sed -n -e '/music/=' -e '/music/'p quote.txt
替換
sed 's/The/Wow!/' quote.txt
保存到文件
sed '1,2 w filedt' quote.txt
讀取文件，在第一行后面讀取
sed '1 r sedex.txt' quote.txt
替換字符系列
如果變量x含有下列字符串：
x="Department+payroll%Building G"
要實現以下轉換：
+ to 'of'
% to located
語句： echo $x | sed 's/"+/ of /g' | sed 's/"%/ located /g'
————————————————————————————
shell命令執行的相應順序
&&
令1 && 命令2 如果這個命令1執行成功& &那么執行這個命2
mv myfile myfile2 && echo "if you are seeing this then mv was success!"
||
如果| |左邊的命令（命令1）未執行成功，那么就執行| |右邊的命令(命令2）
mv myfile myfile2 && echo "if you are seeing this then mv was success! "
從一個審計文件中抽取第1個和第2個域，并將其輸出到一個臨時文件中，如果這一操作未成功，我希望能夠收到一個相應郵件：
awk '{print$1,$2}' test3 >test2 || echo "sorry the extraction didn't work " | mail root
（命令1;命令2;. . .）
如果使用{ }來代替（），那么相應的命令將在子s h e l l而不是當前s h e l l中作為一個整體被執行，只有在{ }中所有命令的輸出作為一個整體被重定向時，其中的命令才被放到子s h e l l中執行，否則在當前s h e l l執行。
例子：
如果s o r t命令執行成功了，可以先將輸出文件備份，然后再打印
test.sorted && (cp test.sorted test.sorted_bak ;lp test.sorted)
經常使用的正則表達式舉例
^ 行首
$ 行尾
^ [ t h e ] 以t h e開頭行
[ S s ] i g n a [ l L ] 匹配單詞s i g n a l、s i g n a L、S i g n a l、S i g n a L
[Ss]igna[lL]". 同上，但加一句點
[ m a y M A Y ] 包含m a y大寫或小寫字母的行
^ U S E R $ 只包含U S E R的行
[tty]$ 以t t y結尾的行
" . 帶句點的行
^ d . . x . . x . . x 對用戶、用戶組及其他用戶組成員有可執行權限的目錄
^ [ ^ l ] 排除關聯目錄的目錄列表
^[^d] ls –l | grep ^[^d] 只顯示非文件夾的文件
[ . * 0 ] 0之前或之后加任意字符
[ 0 0 0 * ] 0 0 0或更多個
[ iI] 大寫或小寫I
[ i I ] [ n N ] 大寫或小寫i或n
[ ^ $ ] 空行
[ ^ . * $ ] 匹配行中任意字符串
^ . . . . . . $ 包括6個字符的行
[a- zA-Z] 任意單字符
[ a - z ] [ a - z ] * 至少一個小寫字母
[ ^ 0 - 9 " $ ] 非數字或美元標識
[ ^ 0 - 0 A - Z a - z ] 非數字或字母
[ 1 2 3 ] 1到3中一個數字
[ D d ] e v i c e 單詞d e v i c e或D e v i c e
D e . . c e 前兩個字母為D e，后跟兩個任意字符，最后為c e
" ^ q 以^ q開始行
^ . $ 僅有一個字符的行
^".[0-9][0-9] 以一個句點和兩個數字開始的行
' " D e v i c e " ' 單詞d e v i c e
D e [ V v ] i c e " . 單詞D e v i c e或d e v i c e
[ 0 - 9 ] " { 2 " } - [ 0 - 9 ] " { 2 " } - [ 0 - 9 ] " { 4 " } 對日期格式d d - m m - y y y y
[ 0 - 9 ] " { 3 " } " . [ 0 - 9 ] " { 3 " } " . [ 0 - 9 ] " { 3 " } " . [ 0 - 9 ] " { 3 " } I P地址格式
[ ^ . * $ ] 匹配任意行
[A-Za-z]* 匹配所有單詞
常用的g r e p選項
-c 只輸出匹配行的計數。
-i 不區分大小寫（只適用于單字符）。
-h 查詢多文件時不顯示文件名。
-l 查詢多文件時只輸出包含匹配字符的文件名。
-n 顯示匹配行及行號。
-s 不顯示不存在或無匹配文本的錯誤信息。
-v 顯示不包含匹配文本的所有行。
例子
grep -v "Sort" tab2 顯示不包含匹配文本的所有行
grep -n "Sort" tab2 顯示匹配行及行號
grep -c "Sort" tab2 只輸出匹配行的計數
精確匹配： grep "01">" tab2
grep -in "code" tab2 忽略大小寫
多次過濾
grep -in "code" tab2 | grep "02"
使用grep匹配“與”或者“或”模式
g r e p命令加- E參數，這一擴展允許使用擴展模式匹配。例如，要抽取城市代碼為2 1 9或2 1 6，方法如下：
grep –E ‘219|216’ tab2
g r e p允許使用國際字符模式匹配或匹配模式的類名形式。
類 等價的正則表達式
[ [ : u p p e r : ] ] [ A - Z ]
[ [ : a l n u m : ] ] [ 0 - 9 a - zA-Z]
[ [ : l o w e r : ] ] [ a - z ]
[ [ : s p a c e : ] ] 空格或t a b鍵
[ [ : d i g i t : ] ] [ 0 - 9 ]
[ [ : a l p h a : ] ] [ a - z A - Z ]
大多數系統管理員稱 / d e v / n u l l為比特池, 可以將之看成一個無底洞，有進沒有出，永遠也不會填滿。
要查看D N S服務器是否正在運行（通常稱為n a m e d），方法如下
ps -ef | grep "name"|grep -v "grep"
e g r e p
e g r e p接受所有的正則表達式，一個顯著特性是可以以一個文件作為保存的字符串，然后將之傳給e g r e p作為參數，為此使用- f開關。
egrep -f par2 tab2 par2是文件，里面包括各種匹配的具體格式
如果要查詢存儲代碼3 2 L或2 C C，可以使用（|）符號，意即“|”符號兩邊之一或全部。
egrep '(Code|Sort)' tab2
openkk 
bingchenggujiu