命令行的藝術

jopen 9年前發布 | 42K 次閱讀命令行

命令行的藝術

熟練使用命令行是一種常常被忽視或被認為難以掌握的技能，但實際上，它可以提高你作為工程師的靈活性以及生產力。本文是一份我在 Linux 上工作時發現的一些關于命令行的使用的小技巧的摘要。這些小技巧有基礎的、相當復雜的甚至晦澀難懂的。這篇文章并不長，但當你能夠熟練掌握這里列出的所有技巧時，你就學會了很多關于命令行的東西了。

這里的大部分內容首次出現于 Quora，但考慮到這里的人們都具有學習的天賦且樂于接受別人的建議，使用 Github 來做這件事是更佳的選擇。如果你在本文中發現了錯誤或者存在可以改善的地方，請果斷提交 Issue 或 Pull Request！(當然在提交前請看一下必讀節和已有的 PR/issue)。

必讀

涵蓋范圍:

這篇文章對剛接觸命令行的新手以及具有命令行使用經驗的人都有用處。本文致力于做到覆蓋面廣(盡量包括一切重要的內容)，具體(給出最常見的具體的例子)以及簡潔(避免一些不必要的東西以及一些偏題的可以在其他地方翻閱到文獻的東西)。每個小技巧在某個特定情境下都是基本的或能夠顯著地節約時間。
本文為 Linux 所寫，但很多內容(并非所有的)同樣適用于 MacOS 甚至 Cygwin。
本文關注于交互式 Bash，盡管很多技巧適用于其他 shell 或 Bash 腳本。
本文包括了"標準的"Unix 命令和需要安裝特定包的命令，只要它們足夠重要。

注意事項:

為了能在一頁內展示盡量多的東西，一些具體的信息會被間接的包含在引用頁里。聰明機智的你如果掌握了使用 Google 搜索引擎的基本思路與命令，那么你將可以查閱到更多的詳細信息。使用apt-get/yum/dnf/pacman/pip/brew（以及其它合適的包管理器）來安裝新程序。
使用 Explainshell 去獲取相關命令、參數、管道等內容的解釋。

基礎

學習 Bash 的基礎知識。具體來說，輸入man bash并至少全文瀏覽一遍; 它很簡單并且不長。其他的 shell 可能很好用，但 Bash 功能強大且幾乎所有情況下都是可用的 ( 只學習 zsh，fish 或其他的 shell 的話，在你自己的電腦上會顯得很方便，但在很多情況下會限制你，比如當你需要在服務器上工作時)。
學習并掌握至少一個基于文本的編輯器。通常 Vim (vi) 會是你最好的選擇。
學會如何使用man命令去閱讀文檔。學會使用apropos去查找文檔。了解有些命令并不對應可執行文件，而是Bash內置的，可以使用help和help -d命令獲取幫助信息。
學會使用>和<來重定向輸出和輸入，學會使用|來重定向管道。了解標準輸出 stdout 和標準錯誤 stderr。
學會使用通配符*(或許再算上?和{...}) 和引用以及引用中'和"的區別。
熟悉 Bash 任務管理工具:&，ctrl-z，ctrl-c，jobs，fg，bg，kill等。
了解ssh，以及基本的無密碼認證，ssh-agent，ssh-add等。
學會基本的文件管理:ls和ls -l(了解ls -l中每一列代表的意義)，less，head，tail和tail -f(甚至less +F)，ln和ln -s(了解硬鏈接與軟鏈接的區別)，chown，chmod，du(硬盤使用情況概述:du -hk *)。關于文件系統的管理，學習df，mount，fdisk，mkfs，lsblk。
學習基本的網絡管理:ip或ifconfig，dig。
熟悉正則表達式，以及grep/egrep里不同參數的作用，例如-i，-o，-A，和-B。
學會使用apt-get，yum，dnf或pacman(取決于你使用的 Linux 發行版)來查找或安裝包。確保你的環境中有pip來安裝基于 Python 的命令行工具 (部分程序使用pip來安裝會很簡單)。

日常使用

在 Bash 中，可以使用 Tab 自動補全參數，使用 ctrl-r 搜索命令行歷史。
在 Bash 中，使用 ctrl-w 刪除你鍵入的最后一個單詞，使用 ctrl-u 刪除整行，使用 alt-b 和 alt-f 按單詞移動，使用 ctrl-k 從光標處刪除到行尾，使用 ctrl-l 清屏。鍵入man readline查看 Bash 中的默認快捷鍵，內容很多。例如 alt-. 循環地移向前一個參數，以及 alt-* 展開通配符。
你喜歡的話，可以鍵入set -o vi來使用 vi 風格的快捷鍵。
鍵入history查看命令行歷史記錄。其中有許多縮寫，例如!$(最后鍵入的參數)和!!(最后鍵入的命令)，盡管通常被 ctrl-r 和 alt-. 取代。
回到上一個工作路徑:cd -
如果你輸入命令的時候改變了主意，按下 alt-# 在行首添加#(將你輸入的命令視為注釋)，并回車。這樣做的話，之后你可以很方便的利用命令行歷史回到你剛才輸入到一半的命令。
使用xargs( 或parallel)。他們非常給力。注意到你可以控制每行參數個數(-L)和最大并行數(-P)。如果你不確定它們是否會按你想的那樣工作，先使用xargs echo查看一下。此外，使用-I{}會很方便。例如:

      find . -name '*.py' | xargs grep some_function
      cat hosts | xargs -I{} ssh root@{} hostname

pstree -p有助于展示進程樹。
使用pgrep和pkill根據名字查找進程或發送信號。
了解你可以發往進程的信號的種類。比如，使用kill -STOP [pid]停止一個進程。使用man 7 signal查看詳細列表。
使用nohup或disown使一個后臺進程持續運行。
使用netstat -lntp或ss -plat檢查哪些進程在監聽端口(默認是檢查 TCP 端口; 使用參數-u檢查 UDP 端口)。
有關打開套接字和文件，請參閱lsof。
在 Bash 腳本中，使用set -x去調試輸出，盡可能的使用嚴格模式，使用set -e令腳本在發生錯誤時退出而不是繼續運行，使用set -o pipefail嚴謹地對待錯誤(盡管問題可能很微妙)。當牽扯到很多腳本時，使用trap。
在 Bash 腳本中，子 shell(使用括號(...))是一種便捷的方式去組織參數。一個常見的例子是臨時地移動工作路徑，代碼如下：

      # do something in current dir (cd /some/other/dir && other-command) # continue in original dir

在 Bash 中，注意到其中有許多形式的擴展。檢查變量是否存在:${name:?error message}。例如，當 Bash 腳本需要一個參數時，可以使用這樣的代碼input_file=${1:?usage: $0 input_file}。數學表達式:i=$(( (i + 1) % 5 ))。序列:{1..10}。截斷字符串:${var%suffix}和${var#prefix}。例如，假設var=foo.pdf，那么echo ${var%.pdf}.txt將輸出foo.txt。
通過使用<(some command)可以將輸出視為文件。例如，對比本地文件/etc/hosts和一個遠程文件:

      diff /etc/hosts <(ssh somehost cat /etc/hosts)

了解 Bash 中的"here documents"，例如cat <<EOF ...。
在 Bash 中，同時重定向標準輸出和標準錯誤，some-command >logfile 2>&1。通常，為了保證命令不會在標準輸入里殘留一個打開了的文件句柄導致你當前所在的終端無法操作，添加</dev/null是一個好習慣。
使用man ascii查看具有十六進制和十進制值的ASCII表。man unicode，man utf-8，以及man latin1有助于你去了解通用的編碼信息。
使用screen或 tmux 來使用多個屏幕，當你在使用 ssh 時(保存 session 信息)將尤為有用。另一個輕量級的解決方案是dtach。
ssh 中，了解如何使用-L或-D(偶爾需要用-R)去開啟隧道是非常有用的，例如當你需要從一臺遠程服務器上訪問 web。
對 ssh 設置做一些小優化可能是很有用的，例如這個~/.ssh/config文件包含了防止特定環境下斷開連接、壓縮數據、多通道等選項：

TCPKeepAlive=yes
      ServerAliveInterval=15
      ServerAliveCountMax=6
      Compression=yes
      ControlMaster auto
      ControlPath /tmp/%r@%h:%p
      ControlPersist yes

部分其他的關于 ssh 的選項是安全敏感且應當小心啟用的。例如在可信任的網絡中:StrictHostKeyChecking=no，ForwardAgent=yes
獲取文件的八進制格式權限，使用類似如下的代碼：

      stat -c '%A %a %n' /etc/timezone

使用 percol 可以交互式地從另一個命令輸出中選取值。
使用fpp(PathPicker)可以與基于另一個命令(例如git)輸出的文件交互。
將 web 服務器上當前目錄下所有的文件(以及子目錄)暴露給你所處網絡的所有用戶，使用：python -m SimpleHTTPServer 7777(使用端口 7777 和 Python 2)或python -m http.server 7777(使用端口 7777 和 Python 3)。

文件及數據處理

在當前路徑下通過文件名定位一個文件，find . -iname '*something*'(或類似的)。在所有路徑下通過文件名查找文件，使用locate something(但請記住updatedb可能沒有對最近新建的文件建立索引)。
使用 ag 在源代碼或數據文件里檢索(比grep -r更好)。
將HTML轉為文本:lynx -dump -stdin
Markdown，HTML，以及所有文檔格式之間的轉換，試試 pandoc。
如果你不得不處理 XML，xmlstarlet寶刀未老。
使用jq處理 JSON。
Excel 或 CSV 文件的處理，csvkit 提供了in2csv，csvcut，csvjoin，csvgrep等工具。
關于 Amazon S3，s3cmd 很方便而 s4cmd 更快。Amazon 官方的 aws 是其他 AWS 相關工作的基礎。
了解如何使用sort和uniq，包括 uniq 的-u參數和-d參數，詳見后文一行代碼節。另外可以了解一下comm。
了解如何使用cut，paste和join來更改文件。很多人都會使用cut，但幾乎都不會使用join。
了解如何運用wc去計算新行數(-l)，字符數(-m)，單詞數(-w)以及字節數(-c)。
了解如何使用tee將標準輸入復制到文件甚至標準輸出，例如ls -al | tee file.txt。
了解語言環境對許多命令行工具的微妙影響，包括排序的順序和性能。大多數 Linux 的安裝過程會將LANG或其他有關的變量設置為符合本地的設置。意識到當你改變語言環境時，排序的結果可能會改變。明白國際化可能會時 sort 或其他命令運行效率下降許多倍。某些情況下(例如集合運算)你可以放心的使用export LC_ALL=C來忽略掉國際化并使用基于字節的順序。
了解awk和sed關于數據的簡單處理的用法。例如，將文本文件中第三列的所有數字求和:awk '{ x += $3 } END { print x }'. 這可能比同等作用的 Python 代碼塊三倍且代碼量少三倍。
替換一個或多個文件中出現的字符串:

      perl -pi.bak -e 's/old-string/new-string/g' my-files-*.txt

依據某種模式批量重命名多個文件，使用rename。對于復雜的重命名規則，repren 或許有幫助。

      # Recover backup files foo.bak -> foo: rename 's/\.bak$//' *.bak # Full rename of filenames，directories，and contents foo -> bar: repren --full --preserve-case --from foo --to bar .

使用shuf從一個文件中隨機選取行。
了解sort的參數。明白鍵的工作原理(-t和-k)。例如，注意到你需要-k1，1來僅按第一個域來排序，而-k1意味著按整行排序。穩定排序(sort -s)在某些情況下很有用。例如，以第二個域為主關鍵字，第一個域為次關鍵字進行排序，你可以使用sort -k1，1 | sort -s -k2，2。處理可讀性數字（例如du -h的輸出）的時候使用sort -h。
如果你想在 Bash 命令行中寫 tab 制表符，按下 ctrl-v [Tab] 或鍵入$'\t'(后者可能更好，因為你可以復制粘貼它)。
標準的源代碼對比及合并工具是diff和patch。使用diffstat查看變更總覽數據。注意到diff -r對整個文件夾有效。使用diff -r tree1 tree2 | diffstat查看變更總覽數據。
對于二進制文件，使用hd使其以十六進制顯示以及使用bvi來編輯二進制。
同樣對于二進制文件，使用strings(包括grep等等)允許你查找一些文本。
二進制文件對比(Delta 壓縮)，使用xdelta3。
使用iconv更改文本編碼。而更高級的用法，可以使用uconv，它支持一些高級的 Unicode 功能。例如，這條命令將所有元音字母轉為小寫并移除了:

      uconv -f utf-8 -t utf-8 -x '::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; ' < input.txt > output.txt

拆分文件，查看split(按大小拆分)和csplit(按模式拆分)。
使用zless，zmore，zcat和zgrep對壓縮過的文件進行操作。

系統調試

curl和curl -I可以便捷地被應用于 web 調試中，它們的好兄弟wget也可以，或者是更潮的 httpie。
使用iostat、netstat、top(htop更佳)和dstat去獲取硬盤、cpu 和網絡的狀態。熟練掌握這些工具可以使你快速的對系統的當前狀態有一個大概的認識。
若要對系統有一個深度的總體認識，使用 glances。它在一個終端窗口中向你提供一些系統級的數據。這對于快速的檢查各個子系統非常有幫助。
若要了解內存狀態，運行并理解free和vmstat的輸出。尤其注意"cached"的值，它指的是 Linux 內核用來作為文件緩存的內存大小，因此它與空閑內存無關。
Java 系統調試則是一件截然不同的事，一個可以用于 Oracle 的 JVM 或其他 JVM 上的調試的小技巧是你可以運行kill -3 <pid>同時一個完整的棧軌跡和堆概述(包括 GC 的細節)會被保存到標準輸出/日志文件。
使用mtr去跟蹤路由，用于確定網絡問題。
用ncdu來查看磁盤使用情況，它比常用的命令，如du -sh *，更節省時間。
查找正在使用帶寬的套接字連接或進程，使用iftop或nethogs。
ab工具(捆綁于 Apache)可以簡單粗暴地檢查 web 服務器的性能。對于更復雜的負載測試，使用siege。
wireshark，tshark和ngrep可用于復雜的網絡調試。
了解strace和ltrace。這倆工具在你的程序運行失敗、掛起甚至崩潰，而你卻不知道為什么或你想對性能有個總體的認識的時候是非常有用的。注意 profile 參數(-c)和附加到一個運行的進程參數 (-p)。
了解使用ldd來檢查共享庫。
了解如何運用gdb連接到一個運行著的進程并獲取它的堆棧軌跡。
學會使用/proc。它在調試正在出現的問題的時候有時會效果驚人。比如:/proc/cpuinfo，/proc/xxx/cwd，/proc/xxx/exe，/proc/xxx/fd/，/proc/xxx/smaps。
當調試一些之前出現的問題的時候，sar非常有用。它展示了 cpu、內存以及網絡等的歷史數據。
關于更深層次的系統分析以及性能分析，看看stap(SystemTap)，perf，以及sysdig。
查看你當前使用的 Linux 發行版(大部分發行版有效):lsb_release -a
無論什么東西工作得很歡樂時試試dmesg(可能是硬件或驅動問題)。

一行代碼

一些命令組合的例子:

當你需要對文本文件做集合交、并、差運算時，結合使用sort/uniq很有幫助。假設a與b是兩內容不同的文件。這種方式效率很高，并且在小文件和上G的文件上都能運用 (sort不被內存大小約束，盡管在/tmp在一個小的根分區上時你可能需要-T參數)，參閱前文中關于LC_ALL和sort的-u參數的部分。

      cat a b | sort | uniq > c # c is a union b cat a b | sort | uniq -d > c # c is a intersect b cat a b b | sort | uniq -u > c # c is set difference a - b

使用grep . *來閱讀檢查目錄下所有文件的內容，例如檢查一個充滿配置文件的目錄比如/sys、/proc、/etc。
計算文本文件第三列中所有數的和(可能比同等作用的 Python 代碼快三倍且代碼量少三倍):

      awk '{ x += $3 } END { print x }' myfile

如果你想在文件樹上查看大小\日期，這可能看起來像遞歸版的ls -l但比ls -lR更易于理解:

      find . -type f -ls

盡可能的使用xargs或parallel。注意到你可以控制每行參數個數(-L)和最大并行數(-P)。如果你不確定它們是否會按你想的那樣工作，先使用xargs echo查看一下。此外，使用-I{}會很方便。例如:

      find . -name '*.py' | xargs grep some_function
      cat hosts | xargs -I{} ssh root@{} hostname

假設你有一個類似于 web 服務器日志文件的文本文件，并且一個確定的值只會出現在某些行上，假設一個acct_id參數在URI中。如果你想計算出每個acct_id值有多少次請求，使用如下代碼:

      cat access.log | egrep -o 'acct_id=[0-9]+' | cut -d= -f2 | sort | uniq -c | sort -rn

運行這個函數從這篇文檔中隨機獲取一條小技巧(解析 Markdown 文件并抽取項目):

      function taocl() {
        curl -s https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md | pandoc -f markdown -t html | xmlstarlet fo --html --dropdtd | xmlstarlet sel -t -v "(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]" | xmlstarlet unesc | fmt -80
      }

冷門但有用

expr: 計算表達式或正則匹配
m4: 簡單地宏處理器
yes: 多次打印字符串
cal: 漂亮的日歷
env: 執行一個命令(腳本文件中很有用)
printenv: 打印環境變量(調試時或在使用腳本文件時很有用)
look: 查找以特定字符串開頭的單詞
cut、paste和join: 數據修改
fmt: 格式化文本段落
pr: 將文本格式化成頁/列形式
fold: 包裹文本中的幾行
column: 將文本格式化成多列或表格
expand和unexpand: 制表符與空格之間轉換
nl: 添加行號
seq: 打印數字
bc: 計算器
factor: 分解因數
gpg: 加密并簽名文件
toe: terminfo entries 列表
nc: 網絡調試及數據傳輸
socat: 套接字代理，與netcat類似
slurm: 網絡可視化
dd: 文件或設備間傳輸數據
file: 確定文件類型
tree: 以樹的形式顯示路徑和文件，類似于遞歸的ls
stat: 文件信息
tac: 反向輸出文件
shuf: 文件中隨機選取幾行
comm: 一行一行的比較排序過的文件
pv: 監視通過管道的數據
hd和bvi: 保存或編輯二進制文件
strings: 從二進制文件中抽取文本
tr: 轉換字母
iconv或uconv: 簡易的文件編碼
split和csplit: 分割文件
units: 將一種計量單位轉換為另一種等效的計量單位(參閱/usr/share/units/definitions.units)
7z: 高比例的文件壓縮
ldd: 動態庫信息
nm: 提取 obj 文件中的符號
ab: 性能分析 web 服務器
strace: 系統調用調試
mtr: 更好的網絡調試跟蹤工具
cssh: 可視化的并發 shell
rsync: 通過 ssh 同步文件和文件夾
wireshark和tshark: 抓包和網絡調試工具
ngrep: 網絡層的 grep
host和dig: DNS 查找
lsof: 列出當前系統打開文件的工具以及查看端口信息
dstat: 系統狀態查看
glances: 高層次的多子系統總覽
iostat: CPU 和硬盤狀態
htop: top 的加強版
last: 登入記錄
w: 查看處于登錄狀態的用戶
id: 用戶/組 ID 信息
sar: 系統歷史數據
iftop或nethogs: 套接字及進程的網絡利用
ss: 套接字數據
dmesg: 引導及系統錯誤信息
hdparm: SATA/ATA 磁盤更改及性能分析
lsb_release: Linux 發行版信息
lsblk: 列出塊設備信息: 以樹形展示你的磁盤以及磁盤分區信息
lshw，lscpu，lspci，lsusb和dmidecode: 查看硬件信息，包括 CPU、BIOS、RAID、顯卡、USB設備等
fortune，ddate和sl: 額，這主要取決于你是否認為蒸汽火車和莫名其妙的名人名言是否"有用"

命令行的藝術

必讀

基礎

日常使用

文件及數據處理

系統調試

一行代碼

冷門但有用

更多資源

相關經驗

相關資訊

相關文檔

目錄