阿汤博客-承接中小企业服务器维护和网站维护,有意者可以联系博主!

awk基本用法及进阶

学习笔记 347℃ 0评论

awk基本用法

基本用法 gawk [options] 'program' FILE …

PROGRAM: PATTERN{ACTION STATEMENTS}

语句之间用分号分割

选项

-F 指明输入时用到的字段分割符

-v var=value 自定义变量

print

print item1,item2,….

要点 

逗号分隔符

输出的各item可以字符串,也可以是数值,当前记录的字段、变量或者awk的表达式

如省略item,相当于print $0

1、变量

FS  默认空白字符

OFS 默认为空白字符

RS 输入时的换行符

ORS 输出时的换行符

NF number of field 字段数量

NR number of record 行数

FNR 各文件分别计数 行数

FILENAME 当前文件名

ARGC 命令行参数的个数

ARGV 数组,保存的是命令行所给定的各参数

2、定义变量

-v var=value 变量名区分字符大小写

在program中直接定义

3、printf 命令

格式化输出 printf FORMAT,item1,item2,….

FORMAT必须给出

不会自动换行,需要显示给出换行控制符

FORMAT中需要分别为后面的每个item指定一个格式化符号

格式符

%c 显示字符的ASCII码

%d , %i 显示十进制整数

%e ,%E 科学计数法数值显示

%f 显示为浮点数

%g , %G 以可续计数法或浮点形式显示数值

%s 显示字符串

%u 无符号整数

%% 显示%本身

awk -F: '{printf "UserName:%s ,UID:%d\n",$1,$3 }' /etc/passwd

修饰符

#[.#] 第一个数字控制显示的宽度 第二个#表示小数点后面的精度

%3.1f

– 表示左对齐

+ 显示数值的符号

'{printf "UserName:%-10s ,UID:%d\n",$1,$3 }' /etc/passwd

4、操作符

算术操作符

x+y ,x-y ,x*y ,x/y, x^y, x%y

-x

+x 转换为数值

字符串操作符:没有符号的操作符 ,字符串连接

赋值操作符

=,+=,-=,/=, %= , ^=

++ ,–

比较操作符

> ,>= ,< ,<= ,!= ,==

模式匹配符

~ 是否匹配

!~ 是否不匹配

逻辑操作符

&&    ||  !

函数调用

function_name(argu1,argu2,…)

条件表达式

selector?if-true-expression:if-false-expression

awk -F: '{$3>=500?usertype="common user":usertype="sysadmin or sysuser";printf "%-10s:%s\n",$1,usertype}' /etc/passwd

5、PATTERN

empty 控模式,匹配每一行

/regular expression/ 仅处理能够被匹配的行

relational expression 关系表达式:结果有“真”有“假”:结果为“真”才会被处理;

真:结果为非0值,非空字符串

awk -F: '$3>=500{print $1,$3}' /etc/passwd

line ranges 行范围

startline,endline: /part1/,/part2/

注意:不支持直接给出数字的格式

awk -F: '(NR>=2&&NR<=10){print $1}' /etc/passwd

BEGIN/END模式

BEGIN{}:仅在开始处理文件中的文本中的文本之前执行一次

awk -F: 'BEGIN{print "Username    UID \n——————"}{printf"%-10s %2d\n", $1,$3}' /etc/passwd

END{}:仅在文本处理完成之后执行一次

awk -F: 'BEGIN{print "Username    UID \n——————"}{printf"%-10s %2d\n", $1,$3}END{print"==============="}' /etc/passwd

6、常用的action

Expressions 表达式

Control statement : if while等

Compound statements: 组合语句:

input statements

output statements

7、控制语句

if(condition) {statments}

if(condition) {statments} else {statments}

while(condtiton)  {statments}

do {statements} while (condition)

for(expr1;expr2;expr3) {statements}

break

continue

delete array[index]

delete array

exit

{statements}

7.1 if-else

语法: if(condition) statement [else statement]

awk -F: '{if($3>=500)print $1,$3}' /etc/passwd

awk -F: '{if($3>=500){printf "Common User:%s\n",$1}else{printf "Sysuser:%s\n",$1}}' /etc/passwd

awk '{if(NF>5) print $0}' /etc/fstab

df -h | awk -F'%' '/^\/dev/{print $1}' | awk '{if($NF>=30) print $1}'

使用场景:对awk取得的整行或某个字段做条件判断

7.2 while循环

语法: while(condition) statement

条件“真”,进入循环:条件为“假”,退出循环

awk '/^[[:space:]]*kernel/ {i=1;while(i<=NF) {print $i,length($i);i++}}' /etc/grub.conf

awk '/^[[:space:]]*kernel/ {i=1;while(i<=NF) {if(length($i)>=7){print $i,length($i)};i++}}' /etc/grub.conf

使用场景:对一行内的多个字段逐一类似处理时使用:对数组中的各元素逐一处理时使用:

7.3 do-while循环

语法:do statement while(condition)

意义:至少执行一次循环体

awk -F: '{i=1;do {print $i;i++}while(i<=3)}' /etc/passwd

7.4 fo循环

语法:for(expr1;expr2;expr3) statement

for(variable assignment;condition;iteration process) {for-body}

awk '/^[[:space:]]*kernel/ {for(i=1;i<=NF;i++) {if(length($i)>=7){print $i,length($i)}}}' /etc/grub.conf

特殊用法:

能够遍历数组中的元素:

语法:for(var in array)

awk -F: '$NF!~/^$/{BASH[$NF]++}END{for(A in BASH){printf "%15s:%i\n",A,BASH[A]}}' /etc/passwd

7.5 switch语句

语法:switch(expression){case VALUE1 or /REGEXP/: statement; case VALUE2 or /REGEXP/: statement;  …; default: statement}

7.6 break 和 continue


break [n]

continue

提前结束本轮循环,直接进入下一轮循环

7.7 next

提前结束对本行的处理而直接进入下一行:

awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd

8、array数组

关联数组:array[index-expression]

index-expression

可以是任意字符串,字符串使用双引号

如果某数组元素事先不存在,在引用时,awk会自动创建此元素,并将其值初始化为“空串”

若要判断数组中是否存在某元素,要使用“index in array”格式进行;

weekdays[mon]="monday"

若要遍历数组中的每个元素,要使用for循环:

for(var in array) {for-body}

awk 'BEGIN{weekday["mon"]="Monday";weekday["tue"]="Tuesday";for(i in weekday){print weekday[i]}}'

注意:var会遍历array的每个索引

state["LISTEN"]++

state["ESTABLISTEN"]++

netstat -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state){print i,state[i]}}'

awk 'BEGIN{print "IP            NUM\n——————" }{ip[$1]++}END{for(i in ip){if(ip[i]>=200)print i,ip[i]}}' /usr/local/nginx/logs/access.log

统计/etc/fstab每个文件系统出现的次数

awk '!/\#/{ext[$3]++}END{for(i in ext){print i,ext[i]}}' /etc/fstab

统计/etc/fstab每个单词出现的次数

awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count){print i,count[i]}}' /etc/fstab

删除数组变量
从关系数组中删除数组索引需要使用delete命令。使用格式为:
delete  array[index]

9、函数

9.1内置函数

数值处理:

rand():返回0和1之间一个随机数

字符串处理:

length([s]):返回指定字符串长度

sub(r,s,[t]): 以r表示的模式来查找t所表示的字符中的匹配的内容,并将其第一次出现替换为s所表示的内容

gsub(r,s,[t]):以r表示的模式来查找t所表示的字符中的匹配的内容,并将其所有出现替换为s所表示的内容

split(s,a,[r]):以r为分隔符切割字符s,并将切割后的结果保存至a所表示的数组中

netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for(i in count){print i,count[i]}}'

tolower(s) 功能:将s中的所有字母转为小写
toupper(s) 功能:将s中的所有字母转为大写

9.2自定义函数:

自定义函数使用function关键字。格式如下:

function F_NAME([variable])

{

statements

}

函数还可以使用return语句返回值,格式为“return value”。

10、多文件处理

把a文件和b文件相同项合并输出  赵云 男 蜀国

a.txt                b.txt

张飞  男          曹操  魏国

赵云  男          赵云  蜀国

黄忠  男          周瑜  吴国

马超  男          法正  蜀国

awk 'NR==FNR{name[$1]=$2} NR>FNR{if(name[$1]!=""){print $0,name[$1]}}' b.txt a.txt


把2.txt的内容替换到1.txt(2.txt指定替换行)

awk -F: 'NR==FNR{a[$1]=$2;next};{if(a[FNR]==""){print $1}else{print a[FNR]}}' 2.txt 1.txt

转载请注明:阿汤博客 » awk基本用法及进阶

喜欢 (0)or分享 (0)