文档章节

shell统计文本里唯一记录的条数

月下独酌100
 月下独酌100
发布于 2016/08/18 20:58
字数 366
阅读 36
收藏 2

统计文本里唯一记录的条数,千万别使用uniq -u,使用sort -u

# cat test5

jason

jason

jason

bbbbb

aaaa

zzz

jason

cccc

jason

[root@hadoop07 user_tags]# uniq test5 

jason

bbbbb

aaaa

zzz

jason

cccc

jason

[root@hadoop07 user_tags]# uniq -u test5

bbbbb

aaaa

zzz

jason

cccc

jason

# uniq --help

用法:uniq [选项]... [文件]

从输入文件或者标准输入中筛选相邻的匹配行并写入到输出文件或标准输出。

 

不附加任何选项时匹配行将在首次出现处被合并。

 

长选项必须使用的参数对于短选项时也是必需使用的。

  -c, --count 在每行前加上表示相应行目出现次数的前缀编号

  -d, --repeated 只输出重复的行

  -D, --all-repeated[=delimit-method 显示所有重复的行

delimit-method={none(default),prepend,separate}

以空行为界限

  -f, --skip-fields=N 比较时跳过前N 列

  -i, --ignore-case 在比较的时候不区分大小写

  -s, --skip-chars=N 比较时跳过前N 个字符

  -u, --unique 只显示唯一的行    

  -z, --zero-terminated 使用'\0'作为行结束符,而不是新换行

  -w, --check-chars=N 对每行第N 个字符以后的内容不作对照

      --help 显示此帮助信息并退出

      --version 显示版本信息并退出

 

若域中为先空字符(通常包括空格以及制表符),然后非空字符,域中字符前的空字符将被跳过。

千万别被红色的解释给坑了

 

© 著作权归作者所有

共有 人打赏支持
月下独酌100
粉丝 26
博文 220
码字总数 56475
作品 0
浦东
高级程序员
私信 提问
mongodb 备份压缩及清除指定日期前的数据

#!/usr/bin/bash #define:Mongodb data backup regularly, delete data before the specified time #date:2016-12-20 curr_dir=pwd backdir="/data/bak/mongodbbak" mongo_comm="/usr/local/......

空灵飞渡
2016/12/28
88
0
Bash基础特性 -- 卷一

Linux Bash的基础特性 一、history(命令历史记录) 1、语法与常用参数 history 列出当前shell的所有history history [-c] 将当前shell的所有 history 清除 history [n] n为数字,列出最近的...

元婴期
2017/07/09
0
0
linux awk

简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的...

疯code
2016/09/18
37
0
linux awk命令详解

简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的...

烟头网管
2015/02/04
0
0
linux命令学习之awk

简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的...

小兵成长记
2016/10/24
2
0

没有更多内容

加载失败,请刷新页面

加载更多

JFinal开发的旅游线路营销Saas平台演示系统我部署了一个

今天部署了一个旅游线路营销管理系统的演示版: 演示地址:http://lvyou.jfinalxueyuan.com 演示账号:(暂时只给一个门店版的吧,批发商和总部的如果需要 演示看看 单独联系我微信:1876673...

山东-小木
今天
2
0
如何学习大数据技术

学习大数据技术,首先要明确大数据的概念。 大数据的概念作者认为有如下几点: 1.数据的来源多样性。例如关系数据库+文本+excel等 2.数据量大。TB级别的数据。 3.业务应用领域。实时性高与实...

董黎明
今天
3
0
开箱即用(out-of-box)的Redis序列号生成器,不用再写任何代码,你值得拥有

先看整体效果 把简单的东西“傻瓜化”是软件开发追求的目标之一。请看下图: 左边是在 application.yml 里配置了3个生成器,右边可以直接注入到代码中使用,注意,不用写任何代码。这酸爽。 ...

花漾年华
今天
1
0
算法我也不知道有没有下一个---一个题目的开端(索引堆与图)

病痛了一周,折磨来折磨去,终于还是平静了下来,现在能把上周末"贯穿"学到的最后一个基础数据结构的知识给沉淀沉淀了。也是即将再单位分享的东西:图论。这东西,想当年大二,学校的时候,只...

心中的理想乡
今天
1
0
Synchronized和Lock的区别

锁类型: 可重入锁:在执行对象中所有的同步方法时,不必再次去获取锁 可中断锁:在等待获取锁过程中可中断 读写锁:对线程的读写分为两个部分,读过程中多线程可一起访问readLock,写过程中...

最胖的瘦子
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部