BlogJava-尽我所能，一步一个脚印-随笔分类-linux脚本编程

Write basic awk script

terrylc — Tue, 01 Mar 2011 12:54:00 GMT

awk的基础编程，我想分为五个部分来总结

awk程序设计模型

对于awk的学习，了解awk程序的基本设计模型是很有意思的

awk程序的脚本通常是有三个部分组成的：
* 处理输入前的动作-----BEGIN{}
* 处理输入的动作-----模式匹配以及Action
* 处理完输入后的动作-----END{}

    awk的主输入循环是核心，这是awk本身来控制和管理的，程序员只是需要根据具体的需求编写控制和操作指令就可以了。

    主输入循环也就是上面提到的模式匹配以及Action，有如下几个很重要的特点：

* 模式和Action应用于每个输入行，而且是每行一次，一次一行
* 程序员编写的核心程序被封装在模式和动作中
* 循环终止与否是有awk来控制的

模式匹配

记住一句话

当awk读取一输入行的时候，它试图匹配脚本中的每个模式匹配规则，只有与一个特定的的模式匹配的输入行才能有资格成为操作对象，如果没有指定操作对象，与模式相匹配的输入行将被打印出来
(执行打印语句是一个默认操作)。

变量

* 系统变量
FS：字段分割符，可以采用默认的分割符，还有一种方式是在BEGIN中指定FS，FS支持正则表达式。
NR：记录数
NF：行中字段数
RS：记录分割符
OFS：和FS等效的输出字段分割符，默认值也是空格
ORS：和RS等效的输出行分割符，默认值也是一个换行符
FILENAME：当前输入文件的文件名
ARGIND：用于判定执行那个输入文件

* 用户自定义变量
用户可以在任何地方定义变量，可以直接使用，不像java一样需要申明。

* 字段引用
对于字段的引用，我们可以$来表示

* 向脚本传递参数

awk -v RS=" " 'scripts' a.txt
说明参数必须在脚本之前指定，解决了命令行参数在BEGIN中不能使用的问题

操作符

几种重要的操作符

* 赋值操作符
++x和x++的区别，前者代表的是先++再返回值，后者代表的是先返回值，然后自身再++

* 关系操作符
$5 ～ /regex/ {}
!：代表是逻辑非

注意点

* awk容许在程序的任何地方添加注释

* 在awk中连接两个字符串使用空格

* 如果以命令行方式提供awk程序，那么程序的其他任何地方不能使用单引号

* 在BEGIN中制定的分割符的正则表达式使用“”，而不像其他的时候使用//

terrylc 2011-03-01 20:54 发表评论

Awk’s basic regex

terrylc — Tue, 01 Mar 2011 08:59:00 GMT

基础概念

    正则表达式是非常有魅力的知识，不同的人对于同一的需求都能写出不同的正则表达式。这就是能力的体现，也是对正在表达式理解的深度，运用熟练的显然差别。

    以前时常使用正则表达式，比如在java中，在php中，但是都没有系统的学习过它，只是知道它很强大！目前由于工作需要开始使用awk和sed，那么很显然正则表达式的使用就不能逃避了。

    那接下来，我一步步记录日常使用的点点滴滴。

正则表达式定义正则表达式是一种描述字符串结构模式的形式化表达语言。

正则表达式调用流程* 首先程序解析正则表达式产生一个模式，然后读取输入行

* 程序将输入行拿来与模式进行匹配

* 输入行的第一个字符与模式的第一个字符进行比较，如果匹配，则比较两者的第二个字符，无能何时，只要匹配不失败，就返回并且从字符串中这个字符后面的字符重新开始匹配，从匹配模式的第一行从新开始。

正则表达式的解析原则任意字符(除了元字符)都被解释为只匹配它本身字面值。

元字符汇总

很显然，我们很希望了解神秘的元字符，下面我就分类总结下这些元字符：

字符类

使用符号：   []

作用:   规定某个位置能够出现的字符，记住只是匹配一个字符而已。

说明：   匹配方括号中字符类的任意一个，如果方括号中第一个字符为^,则表示否定匹配，第一字符是-代表的是字符本身，其他时候代表的是范围连字符。其他所有的原字符都将失去它们原有的含义。

Note：   字符类的简记法
\d=[0-9]
\D=[^0-9]
\w=[0-9a-zA-Z]
\W=[^0-9a-zA-Z]
\s:匹配空白字符(回车，换行，制表，空格)
\S:匹配非空白字符

通配符

使用符号：   .

作用：   匹配任意单个字符

说明：   在一般应用中不能匹配换行，但是在awk中却可以匹配换行符

量词

使用符号： *,+,?,\{m,n\},{m,n}

作用：限定紧跟在它前面字符出现的次数

说明： * 代表匹配前面的字符0次或者多次，+代表匹配前面的字符1次或者多次，？代表匹配前面的字符0次或者1次，{m,n}代表前面的字符出现区间在m和n之间

括号

使用符号： ()

作用：对正则表达式进行分组

说明： * 代表匹配前面的字符0次或者多次，+代表匹配前面的字符1次或者多次，？代表匹配前面的字符0次或者1次，{m.n}代表前面的字符出现区间在m和n之间.

Note: 其中存在文本捕获跟不捕获的问题，在这里我不详细记录了，用到自己查找资料。

锚点

使用符号:   \b,^,$

作用:   确定匹配位置

说明:   \b代表单词分界符的锚点，每个单词前后都是存在一个\b,例如\bcat\b,

常用正则表达式

用户名

/^[a-z0-9_-]{3,16}$/

密码

/^[a-z0-9_-]{6,18}$/

十六进制值

/^#?([a-f0-9]{6}|[a-f0-9]{3})$/

电子邮箱

/^([a-z0-9_\.-]+)@([\da-z\.-]+)\.([a-z\.]{2,6})$/

URL

/^(https?:\/\/)?([\da-z\.-]+)\.([a-z\.]{2,6})([\/\w \.-]*)*\/?$/

IP 地址

/^(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)$/

HTML 标签

/^<([a-z]+)([^<]+)*(?:>(.*)<\/\1>|\s+\/>)$/

Unicode编码中的汉字范围

/^[\u2E80-\u9FFF]+$/

terrylc 2011-03-01 16:59 发表评论

Awk-script1

terrylc — Fri, 18 Feb 2011 01:33:00 GMT

需求：根据给定的学生成绩表，统计每个学生的平均成绩，字母等级，全班的平均成绩。
班级的学生成绩表信息如下：

mona 70 77 85 83 70 89
john 85.92 78 94 88 91
andrea 89 90 85 94 90 95
jasper 84 88 80 92 84 82
dunce 64 80 60 60 61 62
ellis 90 98 89 96 96 92

#grade.awk -- cacl student grade
BEGIN{
FS = " "
}
{total = 0;
for (i=2;i<=NF; i++)
total += $i
avg = total /(NF -1)
#将学生平均成绩付给数组元素
student_avg[NR] == AVG
#确定字母等级
if (avg >= 90) grade = "A"
else if (avg >= 80) grade = "B"
else if (avg >=70) grade = "C"
else if (avg >=60) grade = "D"
else grade = "F"
++class_grade [grade]
print $1,avg,grade

}
END{
for(x = 1;i <= NR;x++)
class_avg_total += student_avg[x]
class_average = class_avg_total /NR
for(x =1; x<=NR; x++)
if (student_avg[x] >= class_average)
++above_average
else
++below_average

print ""
print "Class Average:",class_average
print "At or Above Average:",above_average
print "Below Average:",below_average
#打印每个字母等级的学生数
for(letter_grade in class_grade)
print letter_grade ":",class_grade[letter_grade]|"sort"
}

terrylc 2011-02-18 09:33 发表评论