awk基本用法
基本用法 gawk [options] 'program' FILE ...
PROGRAM: PATTERN{ACTION STATEMENTS}
语句之间用分号分割
选项
-F 指明输入时用到的字段分割符
-v var=value 自定义变量
print item1,item2,....
要点
逗号分隔符
输出的各item可以字符串，也可以是数值，当前记录的字段、变量或者awk的表达式
如省略item,相当于print $0
1、变量
FS 默认空白字符
OFS 默认为空白字符
RS 输入时的换行符
ORS 输出时的换行符
NF number of field 字段数量
NR number of record 行数
FNR 各文件分别计数 行数
FILENAME 当前文件名
ARGC 命令行参数的个数
ARGV 数组，保存的是命令行所给定的各参数
2、定义变量
-v var=value 变量名区分字符大小写
在program中直接定义
3、printf 命令
格式化输出 printf FORMAT,item1,item2,....
FORMAT必须给出
不会自动换行，需要显示给出换行控制符
FORMAT中需要分别为后面的每个item指定一个格式化符号
格式符
%c 显示字符的ASCII码
%d , %i 显示十进制整数
%e ,%E 科学计数法数值显示
%f 显示为浮点数
%g , %G 以可续计数法或浮点形式显示数值
%s 显示字符串
%u 无符号整数
%% 显示%本身
awk -F: '{printf "UserName:%s ,UID:%d\n",$1,$3 }' /etc/passwd
修饰符
#[.#] 第一个数字控制显示的宽度 第二个#表示小数点后面的精度
%3.1f
- 表示左对齐
+ 显示数值的符号
'{printf "UserName:%-10s ,UID:%d\n",$1,$3 }' /etc/passwd
4、操作符
算术操作符
x+y ,x-y ,x*y ,x/y, x^y, x%y
-x
+x 转换为数值
字符串操作符：没有符号的操作符 ，字符串连接
赋值操作符
=，+=，-=，/=, %= , ^=
++ ,--
比较操作符
> ,>= ,< ,<= ,!= ,==
模式匹配符
~ 是否匹配
!~ 是否不匹配
逻辑操作符
&& || ！
函数调用
function_name(argu1,argu2,...)
条件表达式
selector?if-true-expression:if-false-expression
awk -F: '{$3>=500?usertype="common user":usertype="sysadmin or sysuser";printf "%-10s:%s\n",$1,usertype}' /etc/passwd
5、PATTERN
empty 控模式，匹配每一行
/regular expression/ 仅处理能够被匹配的行
relational expression 关系表达式：结果有“真”有“假”：结果为“真”才会被处理；
真：结果为非0值，非空字符串
awk -F: '$3>=500{print $1,$3}' /etc/passwd
line ranges 行范围
startline,endline: /part1/,/part2/
注意：不支持直接给出数字的格式
awk -F: '(NR>=2&&NR<=10){print $1}' /etc/passwd
BEGIN/END模式
BEGIN{}:仅在开始处理文件中的文本中的文本之前执行一次
awk -F: 'BEGIN{print "Username UID \n------------------"}{printf"%-10s %2d\n", $1,$3}' /etc/passwd
END{}:仅在文本处理完成之后执行一次
awk -F: 'BEGIN{print "Username UID \n------------------"}{printf"%-10s %2d\n", $1,$3}END{print"==============="}' /etc/passwd
6、常用的action
Expressions 表达式
Control statement : if while等
Compound statements: 组合语句：
input statements
output statements
7、控制语句
if(condition) {statments}
if(condition) {statments} else {statments}
while(condtiton) {statments}
do {statements} while (condition)
for(expr1;expr2;expr3) {statements}
break
continue
delete array[index]
delete array
exit
{statements}
7.1 if-else
语法： if(condition) statement [else statement]
awk -F: '{if($3>=500)print $1,$3}' /etc/passwd
awk -F: '{if($3>=500){printf "Common User:%s\n",$1}else{printf "Sysuser:%s\n",$1}}' /etc/passwd
awk '{if(NF>5) print $0}' /etc/fstab
df -h | awk -F'%' '/^\/dev/{print $1}' | awk '{if($NF>=30) print $1}'
使用场景：对awk取得的整行或某个字段做条件判断
7.2 while循环
语法： while(condition) statement
条件“真”，进入循环：条件为“假”，退出循环
awk '/^[[:space:]]*kernel/ {i=1;while(i<=NF) {print $i,length($i);i++}}' /etc/grub.conf
awk '/^[[:space:]]*kernel/ {i=1;while(i<=NF) {if(length($i)>=7){print $i,length($i)};i++}}' /etc/grub.conf
使用场景：对一行内的多个字段逐一类似处理时使用：对数组中的各元素逐一处理时使用：
7.3 do-while循环
语法：do statement while(condition)
意义：至少执行一次循环体
awk -F: '{i=1;do {print $i;i++}while(i<=3)}' /etc/passwd
7.4 fo循环
语法：for(expr1;expr2;expr3) statement
for(variable assignment;condition;iteration process) {for-body}
awk '/^[[:space:]]*kernel/ {for(i=1;i<=NF;i++) {if(length($i)>=7){print $i,length($i)}}}' /etc/grub.conf
特殊用法：
能够遍历数组中的元素：
语法：for(var in array)
awk -F: '$NF!~/^$/{BASH[$NF]++}END{for(A in BASH){printf "%15s:%i\n",A,BASH[A]}}' /etc/passwd
7.5 switch语句
语法：switch(expression){case VALUE1 or /REGEXP/: statement; case VALUE2 or /REGEXP/: statement; ...; default: statement}
7.6 break 和 continue
break [n]
continue
提前结束本轮循环，直接进入下一轮循环
7.7 next
提前结束对本行的处理而直接进入下一行：
awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd
8、array数组
关联数组:array[index-expression]
index-expression
可以是任意字符串,字符串使用双引号
如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”
若要判断数组中是否存在某元素，要使用“index in array”格式进行；
weekdays[mon]="monday"
若要遍历数组中的每个元素，要使用for循环：
for(var in array) {for-body}
awk 'BEGIN{weekday["mon"]="Monday";weekday["tue"]="Tuesday";for(i in weekday){print weekday[i]}}'
注意：var会遍历array的每个索引
state["LISTEN"]++
state["ESTABLISTEN"]++
netstat -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state){print i,state[i]}}'
awk 'BEGIN{print "IP NUM\n------------------" }{ip[$1]++}END{for(i in ip){if(ip[i]>=200)print i,ip[i]}}' /usr/local/nginx/logs/access.log
统计/etc/fstab每个文件系统出现的次数
awk '!/\#/{ext[$3]++}END{for(i in ext){print i,ext[i]}}' /etc/fstab
统计/etc/fstab每个单词出现的次数
awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count){print i,count[i]}}' /etc/fstab
删除数组变量
从关系数组中删除数组索引需要使用delete命令。使用格式为：
delete array[index]
9、函数
9.1内置函数
数值处理：
rand():返回0和1之间一个随机数
字符串处理：
length(展开)：返回指定字符串长度
sub(r,s,[t]): 以r表示的模式来查找t所表示的字符中的匹配的内容，并将其第一次出现替换为s所表示的内容
gsub(r,s,[t]):以r表示的模式来查找t所表示的字符中的匹配的内容，并将其所有出现替换为s所表示的内容
split(s,a,[r]):以r为分隔符切割字符s，并将切割后的结果保存至a所表示的数组中
netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for(i in count){print i,count[i]}}'
tolower(s) 功能：将s中的所有字母转为小写
toupper(s) 功能：将s中的所有字母转为大写
9.2自定义函数：
自定义函数使用function关键字。格式如下：
function F_NAME([variable])
{
statements
}
函数还可以使用return语句返回值，格式为“return value”。
10、多文件处理
把a文件和b文件相同项合并输出 赵云 男 蜀国
a.txt b.txt
张飞 男 曹操 魏国
赵云 男 赵云 蜀国
黄忠 男 周瑜 吴国
马超 男 法正 蜀国
awk 'NR==FNR{name[$1]=$2} NR>FNR{if(name[$1]!=""){print $0,name[$1]}}' b.txt a.txt
把2.txt的内容替换到1.txt(2.txt指定替换行)
awk -F: 'NR==FNR{a[$1]=$2;next};{if(a[FNR]==""){print $1}else{print a[FNR]}}' 2.txt 1.txt
