Linux知識深似海

jopen 11年前發布 | 8K 次閱讀 Linux

Linux知識深似海

如果你有一個 4.2GB 的 CSV 文件,里面有超過 1200 萬條記錄,每條記錄都有 50 列。現在你要做的是把其中某一列的值全加起來。

你怎么辦?

        這是我最近看到的一篇文章的開頭部分。文章介紹的是如何使用 unix 命令來分析大體積文件的文章。像我這樣一個基本上都在 Windows 平臺上開發的程序員,對他提出的這樣一個問題,首先出現在腦子里的就是內存溢出、CPU 達到 100%、跑一個晚上。而對于一個 Linux/unix 高手來說,這真是小菜一碟,正如文章中介紹的方法,一行命令就完成了這個任務。

        (假設文件名叫做 data.csv,行數據用豎線分割,我們需要總計其中的第四列。)

cat data.csv awk -F “” ‘{ sum += $4 } END { printf “%.2f\n”, sum }’

        簡潔干凈,而且里面的{ sum += $4 }很有閉包的味道。讓我對 Linux 的向往又加深了一層。

        我寫這篇博客的目的并不是抒發對 Linux 的感情的,而是重點講一下發生在這篇文章評論里的事情。這篇文章吸引了不少 Linux 愛好者的評論,而且都是 Liunx 高手,僅僅是第一條評論,看了后就讓我驚訝的合不上嘴。

        這位叫做 California Lotto 的網名的評論是:

如果你認為自己是一個 Linux 命令行高手,那恭喜你贏得今天的“最沒用的 Cat 用法”大獎。你應該這樣寫這個命令:

awk -F "" '{ sum += $4 } END { printf "%.2f\n", sum }' < data.csv

        的確,cat 在這里似乎是沒必要的。我首先是佩服,可之后馬上感覺這個人可真討厭,賣弄。雖然我不喜歡他無視作者寫這片好博文的辛苦,但作為外行人,他和作者一樣都是我高不可及的。

        可是當我讀第二條評論時,事情出現了戲劇性的變化,這第二條評論明顯是真對第一條評論的:

如果你認為自己是一個 Linux 命令行高手,那恭喜你贏得今天的“最沒用的重定向用法”獎。你應該這樣寫這個命令:

awk -F "" '{ sum += $4 } END { printf "%.2f\n", sum }' data.csv

        正所謂強中自有強中手,一山更比一山高。我突然意識到,其實沒必要在這里比誰比誰更強,在這個浩瀚的互聯網里,永遠都會有比你在某方法更出眾的 人。這里重要的是探討和參與。通過這種探討,不僅豐富了你我的知識,而且對問題的解決方案有了更豐富的認識。正像接下來的評論里繼續指出,命令行這的重定 向符放在什么地方都可以,寫成這樣也是好用的:

        ,神奇吧!而接下來繼續有人指出,作者在實驗時寫成這樣:

head -1 data.psv awk -F’’ ‘{print NF}’

        ,實驗成功后直接把head改成cat是順理成章的事。

        不管怎樣,這是一篇好文章,這些人都是高手,都是我的老師,不僅教我編程知識,更教我如何做人。

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!