Linux文件比较操作—文本文件的交集、差集与求差

  • A+
所属分类:Linux 运维案例

最近公司业务调整,需要对属于百度某公司的域名进行剥离分开,属于本公司的域名更改掉。 域名非常之多之杂乱。各自分别整理手上的域名, 后面再整理无家可归的域名。

这就需要对文件进行操作,也就是把文件当作集合,求集合的交集差集等等集合论相关的数学理论。

下面介绍两个命令:

1. comm命令

comm命令可以用于两个文件之间的比较,它有一些选项可以用来调整输出,以便执行交集、求差、以及差集操作。有三列内容:分别表示A-B,B-A 和 A交B。

相关集合论解释:
交集:打印出两个文件所共有的行。
求差:打印出指定文件所包含的且不相同的行。
差集:打印出包含在一个文件中,但不包含在其他指定文件中的行。

实例:

输出的第一列只包含在aaa.txt中出现的行,第二列包含在bbb.txt中出现的行,第三列包含在aaa.txt和bbb.txt中相同的行。各列是以制表符(\t)作为定界符。

格式化输出选项:
-1:从输出中删除第一列
-2:从输出中删除第二列
-3:从输出中删除第三列

1.1 交集

打印两个文件的交集,需要删除第一列和第二列:

1.2 求差

打印出两个文件中不相同的行,需要删除第三列:

sed 's/^\t//' 是将制表符(\t)删除,以便把两列合并成一列。

1.3 差集

通过删除不需要的列,可以得到aaa.txt和bbb.txt的差集:

1.3.1 aaa.txt的差集

1.3.2 bbb.txt的差集

[warning]

注意1:
1. comm命令要求输入文件的内容必须是排序且唯一的
2. comm -12 表示取消第一列和第二列的输出,即只输出第三列。[/warning]

2. grep命令

grep命令是常用来搜索文本内容的,根据输入的pattern,输出命中的内容。可以利用它的文件输入pattern特性,来求两个文件的交集。

2.1 交集

2.2 差集

2.2.1 aaa.txt - bbb.txt的差集

2.2.2 bbb.txt  - aaa.txt的差集

[warning]

注意2:
1. grep求交集不要求输入文件是排序的,但最好是唯一的
2. 差集时注意输入文件的顺序[/warning]

大家可能注意到了,comm与grep求差集的结果却不同,当我们在使用comm命令前,先对aaa.txt和bbb.txt进行排序操作后,再比较。结果如下:

这结果才与grep的结果相同。

转载请注明来自运维生存时间:   http://www.ttlsa.com/html/3726.html

weinxin
微信公众号
扫一扫关注运维生存时间公众号,获取最新技术文章~

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:3   其中:访客  3   博主  0

    • 朱国伟 9

      ? ~ cat a <(echo) b
      1
      2
      3
      4
      5
      6

      1
      2
      a
      4
      5
      6_id
      ? ~ grep -F -f a b
      1
      2
      4
      5
      6_id

      • 朱国伟 9

        ➜ ~ cat a <(echo) b
        1
        2
        3
        4
        5
        6

        1
        2
        a
        4
        5
        6_id
        ➜ ~ grep -F -f a b
        1
        2
        4
        5
        6_id

        • 朱国伟 9

          注意 有了空行grep方式就不灵了