文档章节

linux 排序sort 去重uniq

胡子叭槎
 胡子叭槎
发布于 2016/09/20 12:36
字数 280
阅读 266
收藏 0
  1. sort 排序。sort a.txt 表示文件a.txt中按照每一行首字母排序。sort -n a.txt 按照数字排序。sort -r -n a.txt 按照数字进行排到序。
  2. uniq 踢重。uniq filename  剔除重复uniq -c filename  踢重后并显示每一行重复的次数
  3. 一般踢重都是要先排序在踢重,因为uniq踢重只能剔除连续重复。sort -n -r 1.t|uniq -c 表示先按照数字排倒序,再进行剔重并显示重复次数

        经典例子:

        老板要求找出日志1.txt中ip 访问量最高的前两名,并输出到/tmp/目录下以当前日期命名后缀为log文件中

日志文件如下:

[root@myvm tmp]# cat 1.txt
1:ip:172.16.10.10:sdfslfjdlsf
1:ip:172.16.10.14:sdfslfjdlsf
1:ip:172.16.10.13:33dfslfjdlsf
1:ip:172.16.10.15:sdfslfjdlsf
1:ip:172.16.10.15:sdfslfjdlsf
1:ip:172.16.10.15:sdfslfjdlsf
1:ip:172.16.10.15:sdfslfjdlsf
1:ip:172.16.10.10:sdfslfjdlsf
1:ip:172.16.10.10:sdfslfjdlsf
1:ip:172.16.10.13:sdfslfjdlsf
1:ip:172.16.10.10:sdfslfjdlsf
1:ip:172.16.10.14:sdfslfjdlsf
1:ip:172.16.10.10:sdfslfjdlsf

执行操作如下:

cat 1.txt|cut -d ':' -f 3|sort|uniq -c|sort -nr|head -n 2 > /tmp/`date +%Y%m%d%H`.log

[root@myvm tmp]# cat 2016093015.log
      5 172.16.10.10
      4 172.16.10.15

 

 

© 著作权归作者所有

胡子叭槎
粉丝 22
博文 145
码字总数 148747
作品 0
成都
数据库管理员
私信 提问
linux字符处理

一.grep grep:基于行的文本处理工具#grep [-ivnc] '需要匹配的字符' 文件名 -i 不区分大小写 -v 反向匹配 -n 显示行号 -c 统计匹配包含的行数 二.sort sort:对无序的数据排序sort [-ntkr] ...

molujiang
2018/01/03
0
0
大数据教程(2.8):Linux命令sort-cut-wc详解

sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出。如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序。 sort语法 [root@www ...

em_aaron
2018/07/14
18
0
linux sort,uniq,cut,wc命令详解

sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出。如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序。 sort语法 [root@www ...

刀心
2015/06/10
0
0
linux之sort,unip,cut

用sort对文件中的行进行排序,或者根据给定的标准输出排序结果。以下是对sort的部分用法的总结。 sort -d 可以使sort忽略标点符号以及一些其他的特殊字符,然后对文件中的行进行排序。 sort...

大圈
2015/08/11
126
0
shell:wc、sort、uniq

文本排序 sort 文本去重 uniq 先排序再去重 -c: 显示文件中行重复的次数 -d: 只显示重复的行(相邻的行) 文本统计 wc -l:多少行 -w:多少单词 -c:多少字符 -L:最长的一行包含了多少个字符...

许小哥
07/25
6
0

没有更多内容

加载失败,请刷新页面

加载更多

Nginx 快速安装详解

一、Nginx Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器,同时也提供了IMAP/POP3/SMTP服务。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点(俄文:Рамбле...

网络小虾米
18分钟前
4
0
技术分享 | slave_relay_log_info 表认知的一些展开

作者:胡呈清 slave_relay_log_info 表是这样的: mysql> select * from mysql.slave_relay_log_info\G *************************** 1. row *************************** Number_of_lin......

爱可生
20分钟前
3
0
nginx配置http访问自动跳转到https

server {listen 80;server_name www.域名.com;rewrite ^(.*) https://$server_name$1 permanent;}server {listen 443;server_name www.域名.com;root /home/www;ssl on;......

很好亦平凡ms
20分钟前
3
0
SpreadJS:一款中国研发的类Excel开发工具,功能涵盖Excel的 95% 以上

Excel 作为一款深受用户喜爱的电子表格工具,借助其直观的界面、出色的计算性能、数据分析和图表,已经成为数据统计领域不可或缺的软件之一。 基于Excel对数据处理与分析的卓越表现,把Excel...

葡萄城技术团队
21分钟前
3
0
用javafx框架tornadofx做了个天气预报的程序

class WeatherApp : App(WeatherView::class)class WeatherView : View("十五天天气预报") { val weatherVM: WeatherViewModel by inject() val controller: WeatherController by......

oschina4cyy
24分钟前
3
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部