快速掌握AWK的基本使用方式

本文大部分內容翻譯自我開始學習AWK時看到的一篇英文文章 AWK Tutorial ，覺得對AWK入門非常有幫助，所以對其進行了粗略的翻譯，并對其中部分內容進行了刪減或者補充，希望能為對AWK感興趣的小伙伴提供一份快速入門的教程，幫助小伙伴們快速掌握AWK的基本使用方式，當然，我也是剛開始學習AWK，本文在翻譯或者補充的過程中肯定會有很多疏漏或者錯誤，希望大家能夠幫忙指正。

本文將會持續修正和更新，最新內容請參考我的 GITHUB 上的 程序猿成長計劃 項目，歡迎 Star。

概述

AWK是一門解釋型的編程語言。在文本處理領域它是非常強大的，它的名字來源于它的三位作者的姓氏：Alfred Aho， Peter Weinberger 和 Brian Kernighan。

GNU/Linux發布的AWK目前由自由軟件基金會（FSF）進行開發和維護，通常也稱它為 GNU AWK。

AWK的類型

下面是幾個AWK的變體：

AWK – 原先來源于 AT & T 實驗室的的AWK

NAWK – AT & T 實驗室的AWK的升級版

GAWK – 這就是GNU AWK。所有的GNU/Linux發布版都自帶GAWK，它與AWK和NAWK完全兼容

AWK的典型用途

使用AWK可以做很多任務，下面是其中一些

文本處理

輸出格式化的文本報表

執行算數運算

執行字符串操作等等

工作流

要成為AWK編程專家，你需要先知道它的內部實現機制，AWK遵循了非常簡單的工作流 – 讀取，執行和重復，下圖描述了AWK的工作流。

Read

AWK從輸入流（文件，管道或者標準輸入）中讀取一行，然后存儲到內存中。

Execute

所有的AWK命令都依次在輸入上執行。默認情況下，AWK會對每一行執行命令，我們可以通過提供模式限制這種行為。

Repeat

處理過程不斷重復，直到到達文件結尾。

程序結構

現在，讓我們先學習一下AWK的程序結構。

BEGIN 語句塊

BEGIN語句塊的語法

BEGIN {awk-commands}

BEGIN語句塊在程序開始的使用執行，它只執行一次，在這里可以初始化變量。BEGIN是AWK的關鍵字，因此它必須為大寫，注意，這個語句塊是可選的。

BODY 語句塊

BODY語句塊的語法

/pattern/ {awk-commands}

BODY語句塊中的命令會對輸入的每一行執行，我們也可以通過提供模式來控制這種行為。注意，BODY語句塊沒有關鍵字。

END 語句塊

END語句塊的語法

END {awk-commands}

END語句塊在程序的最后執行，END是AWK的關鍵字，因此必須為大寫，它也是可選的。

讓我們創建一個包含序號，學生姓名，科目名稱和得分的文件 marks.txt.

1)AmitPhysics80

2)Rahul Maths90

3)Shyam Biology87

4)Kedar English85

5)HariHistory89

下面的例子中我們將會顯示文件內容，并且添加每一列的標題

上述代碼執行后，輸出以下內容

在程序的開始，AWK在BEGIN語句中打印出標題。然后再BODY語句中，它會讀取文件的每一行然后執行AWK的print命令將每一行的內容打印到標準輸出。這個過程會一直重復直到文件的結尾。

基礎語法

AWK的使用非常簡單，我們可以直接在命令行中執行AWK的命令，也可以從包含AWK命令的文本文件中執行。

AWK命令行

我們可以使用單引號在命令行中指定AWK命令

AWK程序文件

我們可以使用腳本文件提供AWK命令

AWK標準選項

AWK支持下列命令行標準選項

-v 變量賦值選項

該選項將一個值賦予一個變量，它會在程序開始之前進行賦值，下面的例子描述了該選項的使用

--dump-variables[=file] 選項

該選項會輸出排好序的全局變量列表和它們最終的值到文件中，默認的文件是 awkvars.out。

--help 選項

打印幫助信息.

--lint[=fatal] 選項

該選項允許檢查程序的不兼容性或者模棱兩可的代碼，當提供參數 fatal的時候，它會對待Warning消息作為Error。

--posix 選項

該選項開啟嚴格的POSIX兼容。

--profile[=file]選項

該選項會輸出一份格式化之后的程序到文件中，默認文件是 awkprof.out。

--traditional 選項

該選項會禁止所有的gawk規范的擴展。

--version 選項

輸出版本號

基本使用示例

本部分會講述一些有用的AWK命令和它們的使用示例，所有的例子都是以下面的文本文件 marks.txt 為基礎的。

在文件marks.txt中，第三列包含了科目名，第四列則是得分，上面的例子中，我們只打印出了這兩列，$3 和 $4 代表了輸入記錄中的第三和第四個字段。

打印所有的行

默認情況下，AWK會打印出所有匹配模式的行

打印匹配模式的列

當模式匹配成功時，默認情況下AWK會打印該行，但是也可以讓它只打印指定的字段。例如，下面的例子中，只會打印出匹配模式的第三和第四個字段。

任意順序打印

打印超過18個字符的行

內建變量

AWK提供了很多內置的變量，它們在開發AWK腳本的過程中起著非常重要的角色。

標準AWK變量

ARGC 命令行參數個數

命令行中提供的參數個數

ENVIRON 環境變量

環境變量的關聯數組

NF 字段數目

OFS 輸出字段分隔符

輸出字段分隔符，默認為空

RSTART

match函數匹配的第一次出現位置

$n

當前行中的第n個字段

GNU AWK的變量

ARGIND

當前被處理的ARGV的索引

BINMODE

在非POSIX系統上指定對所有的文件I/O采用二進制模式。

ERRORNO

一個代表了getline跳轉失敗或者是close調用失敗的錯誤的字符串。

FIELDWIDTHS

設置了空格分隔的字段寬度變量列表的話，GAWK會將輸入解析為固定寬度的字段，而不是使用FS進行分隔。

IGNORECASE

設置了這個變量的話，AWK會忽略大小寫。

LINT

提供了對–lint選項的動態控制。

操作符

與其它編程語言一樣，AWK也提供了大量的操作符。

算數操作符

算數操作符不多說，直接看例子，無非就是+-*/%

增減運算符

自增自減與C語言一致。

賦值操作符

關系操作符

邏輯操作符

三元操作符

一元操作符

指數操作符

字符串連接操作符

數組成員操作符

正則表達式操作符

正則表達式操作符使用~和!~分別代表匹配和不匹配。

更多關于正則表達式請看后面的正則表達式部分

正則表達式

AWK在處理正則表達式方面是非常強大的，使用簡單的正則表達式可以處理非常復雜的問題。

數組

AWK支持關聯數組，也就是說，不僅可以使用數字索引的數組，還可以使用字符串作為索引，而且數字索引也不要求是連續的。數組不需要聲明可以直接使用，語法如下：

在AWK中，只支持一維數組，但是可以通過一維數組模擬多維，例如我們有一個3×3的三維數組

流程控制

流程控制語句與大多數語言一樣，基本格式如下

循環

循環操作與其他C系語言一樣，主要包括 for，while，do...while，break，continue 語句，當然，還有一個 exit語句用于退出腳本執行。

exit用于退出腳本，參數為退出的狀態碼，可以通過shell中的$?獲取

函數

內建函數

AWK提供了很多方便的內建函數供編程人員使用。由于函數比較多，個人覺得單純看每個函數的使用也沒有什么實際意義，比較容易遺忘，因此，這里只簡單的列出常用的一些函數，只需要對其有個印象即可，使用的時候再去 查手冊 效果會更好一些吧。

數學函數

atan2(y, x)

cos(expr)

exp(expr)

int(expr)

log(expr)

rand

sin(expr)

sqrt(expr)

srand([expr])

字符串函數

asort(arr [, d [, how] ])

asorti(arr [, d [, how] ])

gsub(regex, sub, string)

index(str, sub)

length(str)

match(str, regex)

split(str, arr, regex)

sprintf(format, expr-list)

strtonum(str)

sub(regex, sub, string)

substr(str, start, l)

tolower(str)

toupper(str)

時間函數

systime

mktime(datespec)

strftime([format [, timestamp[, utc-flag]]])

字節操作函數

and

compl

lshift

rshift

or

xor

其它

用戶自定義函數

函數是程序基本的組成部分，AWK允許我們自己創建自定義的函數。一個大型的程序可以被劃分為多個函數，每個函數之間可以獨立的開發和測試，提供可重用的代碼。

下面是用戶自定義函數的基本語法

輸出重定向

重定向操作符

到目前為止，我們所有的程序都是直接顯示數據到了標準輸出流，其實，我們也可以將輸出重定向到文件。重定向操作符跟在print和printf函數的后面，與shell中的用法基本一致。

管道

除了將輸出重定向到文件之外，我們還可以將輸出重定向到其它程序，與shell中一樣，我們可以使用管道操作符|。

第一次I/O操作使用了|&操作符，gawk會創建一個到運行其它程序的子進程的雙向管道，print的輸出被寫入到了subprogram的標準輸入，而這個subprogram的標準輸出在gawk中使用getline函數進行讀取。

注意：目前協同進程的標準錯誤輸出將會和gawk的標準錯誤輸出混雜在一起，無法單獨獲取標準錯誤輸出。另外，I/O緩沖可能存在問題，gawk程序會自動的刷新所有輸出到下游的協同進程的管道。但是，如果協同進程沒有刷新其標準輸出的話，gawk將可能會在使用getline函數從協同進程讀取輸出的時候掛起，這就可能引起死鎖。

我們可以使用close函數關閉雙向管道的to或者from一端，這兩個字符串值告訴gawk發送數據到協同進程完成時或者從協同進程讀取完畢時關閉管道。在使用系統命令sort的時候是這樣做是非常必要的，因為它必須等所有輸出都讀取完畢時才能進行排序。

上例看起來有些復雜，我們逐行分析一下

首先，第一行cmd = “tr [a-z] [A-Z]”是在AWK中要建立雙向連接的命令

第二行的print命令用于為tr命令提供輸入，而 |& 用于指出要建立雙向連接

第三行用于在上面的語句close(cmd, “to”),在執行完成后關閉其to進程

第四行cmd |& getline out使用getline函數存儲輸出到變量out中

最后一行使用close函數關閉命令

美化輸出

到目前為止，我們已經使用過print和printf函數顯示數據到標準輸出，但是printf函數實際上要比我們之前使用的情況更加強大得多。該函數是從C語言中借鑒來的，在處理格式化的輸出時非常有用。

格式化輸出標識有 %c， %d，%s 等，基本與C語言一致，這里就不多贅述了。

執行shell命令

在AWK中執行shell命令有兩種方式

使用system函數

使用管道

使用system函數

system函數用于執行操作系統命令并且返回命令的退出碼到awk。

使用管道

如果要執行的命令很多，可以將輸出的命令直接用管道傳遞給“/bin/sh”執行