文档章节

awk实现统计单词和去重

w
 wang__tao
发布于 2016/05/16 16:41
字数 86
阅读 119
收藏 6

1.统计单词个数 awk ‘{c+=length($0)+1; w += NF} END {  print NR,w,c}’,依次输出文本行数、单词个数和总的字符数。

2.删除重复行 sort filename |awk 'Last != $0 {print $0} {Last = $0}',实际上是拿下一行和上一行做比较,要求不相同时输出$0.

© 著作权归作者所有

上一篇: 编译安装
w
粉丝 1
博文 94
码字总数 33700
作品 0
西安
私信 提问
加载中

评论(2)

w
wang__tao
这不是为了学使用awk么,你说得对,在实际应用就应该使用sort -u.
ericsoul
ericsoul
你都用sort 去重了,怎么不直接用sort -u
awk 分析 nginx 日志

Nginx日志格式:'$remoteaddr - $remoteuser [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"' 日志记录: 1)统计日志中访......

三蹦子
03/14
0
0
linux常用的shell文本处理方法

find 文件查找 查找txt和pdf文件 find . ( -name ".txt" -o -name ".pdf" ) -print 正则方式查找.txt和pdf find . -regex ".(.txt|.pdf)$" -iregex: 忽略大小写的正则 否定参数查找所有非t......

stone_
2016/05/06
95
2
Linux Shell 文本处理工具集锦

Linux Shell 文本处理工具集锦 本文将介绍Linux下使用Shell处理文本时最常用的工具: find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk; 提供的例子和参数都是最常用和最为实用...

平凡之路
2014/10/13
0
0
Linux Shell 文本处理工具集锦

本文将介绍Linux下使用Shell处理文本时最常用的工具: find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk; 提供的例子和参数都是最常用和最为实用的; 我对shell脚本使用的原则...

小股儿
2014/01/06
29
0
Linux Shell文本处理工具集锦

本文将介绍Linux下使用Shell处理文本时最常用的工具: find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk; 提供的例子和参数都是最常用和最为实用的; 我对shell脚本使用的原则...

孟飞阳
2016/07/08
38
0

没有更多内容

加载失败,请刷新页面

加载更多

数组算法

/*数组的相关的算法操作:1、在数组中找最大值/最小值*/class Test11_FindMax{public static void main(String[] args){int[] array = {4,2,6,8,1};//在数组中找最大...

architect刘源源
26分钟前
0
0
okhttp3 以上版本在安卓9.0无法请求数据的解决方案

应用官方的说明:在 Android 6.0 中,我们取消了对 Apache HTTP 客户端的支持。 从 Android 9 开始,默认情况下该内容库已从 bootclasspath 中移除且不可用于应用。且Android P 限制了明文流量...

chenhongjiang
今天
5
0
简单示例:NodeJs连接mysql数据库

开篇引用网上的说法: 简单的说 Node.js 就是运行在服务端的 JavaScript。Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台。Node.js是一个事件驱动I/O服务端JavaScript环境,基于...

李朝强
今天
8
0
大数据学习路线

年薪30W大数据学习路线图: 一、Hadoop入门,了解什么是Hadoop 1、Hadoop产生背景 2、Hadoop在大数据、云计算中的位置和关系 3、国内外Hadoop应用案例介绍 4、国内Hadoop的就业情况分析及课程...

陈小君
今天
3
0
解读 Kylin 3.0.0 | 更敏捷、更高效的 OLAP 引擎

在近期的 Apache Kylin Meetup 成都站上,我们邀请到 Kyligence 架构师 & Apache Kylin Committer 倪春恩对 Kylin 3.0.0 版本的一些重要功能及改进从使用到原理进行了介绍: Apache Kylin 在...

ApacheKylin
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部