awk工具详解

awk工具详解目录awk概述awk工作原理awk命令格式awk概述AWK是一种处理文本文件的语言,是一个强大的文本分析工具。它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描、过滤、统计汇总

大家好,又见面了,我是你们的朋友全栈君。

目录

awk概述

awk工作原理

awk命令格式

 

 

awk概述

AWK是一种处理文本文件的语言,是一个强大的文本分析工具

它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描、过滤、统计汇总工作数据可以来自标准输入也可以是管道或文件

 

 

 

工作原理(1):

当读到第一行时,匹配条件,然后执行指定动作,再接着读取第二行数据处理,不会默认输出

如果没有定义匹配条件默认是匹配所有数据行,awk隐含循环,条件匹配多少次动作就会执行多少次

 

工作原理(2):

逐行读取文本,默认以空格或tab键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令。

sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个””字段”然后再进行处理。awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符”

&&”表示”与”、”| |”表示”或”、”!.”表示非” ;还可以进行简单的数学运算,如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。

 

 

 

awk命令格式

awk选项  ‘模式或条件{操作}’ 文件1文件2 …

awk -f 脚本文件文件1文件2 ..

格式: awk关键字选项命令部分'{xxxx}’文件名

 

awk包含几个特殊的内建变量(可直接用)如下所示:

FS:指定每行文本的字段分隔符,默认为空格或制表位(就是tab)。

NF:当前处理的行的字段个数。

NR:当前处理的行的行号(序数) 。

$0:当前处理的行的整行内容。

$n:当前处理行的第n个字段(第n列)。

FILENAME:被处理的文件名。

RS:行分隔符。awk从文件上读取资料时,将根据Rs的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’ \n’

简说:数据记录分隔,默认为\n,即每行为一条记录

 

案例

<span role="heading" aria-level="2">awk工具详解

<span role="heading" aria-level="2">awk工具详解

<span role="heading" aria-level="2">awk工具详解

<span role="heading" aria-level="2">awk工具详解

 

 

awk常用内置变量:$1、$2、NF、NR、$0

$1:代表第一列
$2:代表第二列以此类推

$0:代表整行
NF:一行的列数

NR:行数

 

案例:

<span role="heading" aria-level="2">awk工具详解

<span role="heading" aria-level="2">awk工具详解

<span role="heading" aria-level="2">awk工具详解

awk -F: NR==10′{print $1}’ zz   ##打印第10行第一列

awk -F : ‘{print $NF}’ zz      ##打印最后一列

awk ‘END{print NR}’ zz     ##打印总行数

awk ‘END{print $0}’ zz      ##打印最后一整行内容

<span role="heading" aria-level="2">awk工具详解

 

生产案例:

<span role="heading" aria-level="2">awk工具详解

 

 

逐行执行开始之前执行什么任务,结束之后再执行什么任务,用BEGIN、END

BEGIN一般用来做初始化操作,仅在读取数据记录之前执行一次
END一般用来做汇总操作,仅在读取完数据记录之后执行一次

<span role="heading" aria-level="2">awk工具详解

awk 的运算:

<span role="heading" aria-level="2">awk工具详解

 

模糊匹配,用~表示包含,!~表示不包含

 awk -F: ‘$1~/root/’ zz    ##包含root 的所有行

awk -F: ‘$7!~/nologin$/{print $1 $7}’ zz   ##打印除了以nologin结尾的  第一列和第七列

 

关于数值与字符串的比较

比较符号: ==        !=      <=        >=      <      >

案例:

awk -F: ‘$3==0’ zz   ##打印第三列等于0 的行

awk ‘NR==5{print}’ zz  ##打印第五行

awk ‘NR<=5{print}’ zz   ##打印小于5行包含第五行

awk -F: ‘$1==”root”‘ zz   ##打印第一列有root的行

awk -F: ‘$3>=1000’ /etc/passwd  ##打印第三列大于等于1000的行

awk -F: ‘$3<10 || $3>=1000’ /etc/passwd   ##打印第三列小于10 或者大于等于1000的所有行

awk -F: ‘$3>10 && $3<=100’ /etc/passwd   ##打印第三列大于10小于等于100所有行

 awk ‘NR>2 && NR<8’ zz      ##打印3到7行

seq 200 | awk ‘$1%7==0 && $1~/7/’     ##打印200内 被7整除并且 包含7的所有数字

 

 

其他内置变量的用法FS、OFS、NR、FNR、RS、ORS

案例:

awk ‘BEGIN{FS=”:”}{print $1}’ zz   ##打印之前定义字段分隔符为冒号

awk ‘BEGIN{FS=”:”;OFS=”—“}{print $1,$2}’ zz    ##OFS 定义了输出时以什么分隔,$1$2中间要用逗号分隔,因为逗号默认被映射为OFS变量,而这个变量默认是空格

awk ‘{print FNR,$0}’ /etc/hosts /etc/passwd        ##可以看出FNR的行号在追加当有多个文件时

awk ‘BEGIN{RS=”:”}{print $0}’ zz   ##打印出以冒号换行输出

awk ‘BEGIN{ORS=” “}{print $0}’ zz   ##把多行合并成一行输出,输出的时候自定义以空格分隔每行,本来默认的是回车键

 

 

awk高级用法

定义引用变量

a=100

awk -v b=”$a” ‘BEGIN{print b}’    ##将系统的变量a,在awk里赋值为变量b,然后调用变量b

awk ‘BEGIN{print “‘$a'”}’     ##直接调用的话需要先用双引号再用单引号

awk -v c=50 ‘BEGIN{print c}’     ##awk直接定义变量引用

 

 

调用函数getline,读取一行数据的时候并不是得到当前行而是当前行下一行

案例:

df -h | awk ‘BEGIN{getline}/dev\/sda3/{print $0}’

[root@localhost ky17]# seq 12 | awk ‘{getline;print $0}’
2
4
6
8
10
12
[root@localhost ky17]# seq 12 | awk ‘{print $0;getline}’
1
3
5
7
9
11

 

if语句:awk的if语句也分为单分支、双分支和多分支

单分支为if(){}

双分支为if(){}else{}

多分支为if(){}else if(){}else{}

案例:

<span role="heading" aria-level="2">awk工具详解

 

awk 还支持for循环、while循环、函数、数组等

 

案例:

awk ‘BEGIN{x=0};/\/bin\/bash$/ {x++;print x,$0};END {print x}’ /etc/passwd

#统计以/ bin/ bash结尾的行数,等同于

grep -c “/ bin/ bash$ ” /etc/passwd
BEGIN模式表示,在处理指定的文本之前,需要先执行BEGIN模式中指定的动作;
awk再处理指定的文本,之后再执行END模式中指定的动作,END{}语句块中,往往会放入打印结果等语句

<span role="heading" aria-level="2">awk工具详解

 

awk -F “:” ‘! ($3<200){print}’ /etc/passwd  ##输出第3个字段的值不小于200的行

awk ‘BEGIN {FS=”:”}; {if($3>=1000){print}}’ /etc/passwd     ##先处理完BEGIN的内容,再打印文本里面内容

 

awk -F “:” ‘{max=($3>=$4)   ?$3:$4; {print max}} ‘ /etc/passwd (了解)
#($3>$4)?$3:$4三元运算符,如果第3个字段的值大于等于第4个字段的值,则把第3个字段的值赋给max,否则第4个字段的值赋给max

 

 

<span role="heading" aria-level="2">awk工具详解

 

awk -F “:” ‘$7~”bash”{print $1}’ zz    ##输出以冒号分隔且第7个字段中包含/bash行的第一字段

awk -F “:” ‘($1~”root”)  && (NF==7) {print $1,$2,$NF}’ /etc/passwd   ##第1个字段中包含root且有7个字段的行的第1/2个字段

awk -F “:” ‘($7!=”/bin/bash”) && ($7!=”/sbin/nologin/”){print}’ /etc/passwd   ##/etc/passwd输出第7个字段既不为/bin/bash,也不为/sbin/nologin的所有行#输出第7个字段既不为/bin/bash,也不为/sbin/nologin的所有行

awk -F “:” ‘($NF !=”/bin/bash”)&&($NF!=”/sbin/nologin”){print NR,$0}’ /etc/passwd   ##跟上面一样效果

 

通过管道、双引号调用shell 命令:
echo $PATH | awk ‘BEGIN{RS=”:”};END {print NR}’

#统计以冒号分隔的文本段落数,END{}语句块中,往往会放入打印结果等语句
echo $PATH | awk ‘BEGIN{RS=”: ” }; iprint NR,$0 }; ENDfprint NR}’

 

awk -F: ‘/bash$/{print \ “wc-l”}’/etc/passwd    #调用wc -l命令统计使用bash 的用户个数,

等同于grep -c “bash$” etc/passwd
awk -F: ‘/bash$/ {print } ‘passwd l wc -l

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/154210.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • shell编程和shell脚本_shell脚本语言入门pdf

    shell编程和shell脚本_shell脚本语言入门pdf看了一遍,小有问题,但是可以览个大概了。 Shell编程基础http://wiki.ubuntu.org.cn/Shell%E7%BC%96%E7%A8%8B%E5%9F%BA%E7%A1%80

  • tkmybatis使用注解实现动态配置(feignclient注解使用)

    generator.properties:spring.datasource.driverClassName=com.mysql.jdbc.Driverspring.datasource.url=jdbc:mysql://10.244.76.11:3306/esign?useUnicode=true&characterEncoding=UTF8&zeroDateTimeBeha…

  • TCP: time wait bucket table overflow的解决方法「建议收藏」

    TCP: time wait bucket table overflow的解决方法「建议收藏」1、问题描述:今天发现服务器日志中/var/log/message中有很多下面的这样的日志,并且es的进程占用cpu资源很高。然后百度查看了一下TIME_WAIT的值,[root@hadoop13~]#netstat-n|awk’/^tcp/{++S[$NF]}END{for(ainS)printa,S[a]}’发现等待数达到了10000多了。其实也可以用下面查

  • mac如何杀进程_Mac结束进程

    mac如何杀进程_Mac结束进程比如我们想要杀死端口9999对应的进程首先,查看端口9999的占用情况lsof-itcp:9999其次,执行kill-9pid,这里我的pid=9760kill-99760

  • Vue实现文件上传和文件下载

    Vue实现文件上传和文件下载文件下载:文件下载通常有几种方法1.通过url下载2.location.href3.form提交直接下载4.HTML5a.download结合blob对象进行下载第一种方式:第一种方法是前后端的接口只给了一个API请求:前端第一个实现是使用a标签,第二种方式:这个方法是直接把DataURLs或者BlogURLs传到浏览器地址中触发下载。有两种…

  • 使用深度图重建世界坐标

    使用深度图重建世界坐标参考网址:https://blog.csdn.net/puppet_master/article/details/77489948首先建立一个绘制世界坐标的项目。保证物体的顶点在0到1范围之内,这样颜色能够有意义的表示物体的世界坐标位置。然后编写一个shader,用于绘制世界坐标位置:Shader&amp;amp;amp;amp;amp;amp;amp;quot;Unlit/DrawWorldPoint&amp;amp;amp;amp;amp;amp;amp;quo

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号