文档章节

AWK 文件处理计数

一千零一夜个为什么
 一千零一夜个为什么
发布于 2016/11/16 15:51
字数 156
阅读 11
收藏 0
点赞 0
评论 0

1、求和
cat data|awk '{sum+=$1} END {print "Sum = ", sum}'
 
2、求平均
cat data|awk '{sum+=$1} END {print "Average = ", sum/NR}'
 
3、求最大值
cat data|awk 'BEGIN {max = 0} {if ($1>max) max=$1 fi} END {print "Max=", max}'
 
4、求最小值(min的初始值设置一个超大数即可)
awk 'BEGIN {min = 1999999} {if ($1<min) min=$1 fi} END {print "Min=", min}'
 
5、求访问次数的Top 10 Resource,可以根据此进行优化
cat output/logs/cookie_logs/`date +%u`/cookie_log|grep -v '172.16'|grep -v '127.0.0.1' |awk -F' '  '{ if(index($1,"219.141.246")!=0) print $2; else print $1  } '|sort|uniq -c|sort -n |tail -n 10

6、这个特么有点意思。

© 著作权归作者所有

共有 人打赏支持
一千零一夜个为什么
粉丝 3
博文 41
码字总数 13031
作品 0
朝阳
程序员
awk数组计数和去重---统计域名访问次数

1.awk数组 假设我们有一个酒店 酒店<===>Green 酒店里面有几个房间515,516,517,519这几个房间 酒店515房间<===>GreenHotel[515]酒店516房间<===>GreenHotel[516]酒店517房间<===>GreenHot......

大凯哥517 ⋅ 2017/06/10 ⋅ 0

数据科学家必备!12个基本命令行工具帮你摆脱鼠标

原文链接:点击打开链接 摘要: 这篇文章概述了十二个可以用于数据科学项目的类Unix操作系统命令行工具。 这一系列工具不包括任何基本的文件管理命令(pwd、ls、mkdir、rm……)和远程桌面管...

qq_40954115 ⋅ 04/19 ⋅ 0

AWK学习笔记

awk笔记 一、文本处理工具三剑客 1、grep:文本过滤器,主要功能是指定模式,显示匹配的文本。 2、sed:流编辑器,主要功能是根据指定的模式,来编辑文件。 3、awk:报告生成器,主要功能是从...

yacai1990 ⋅ 2016/02/02 ⋅ 0

awk用法和详细实例

00x01 awk介绍 awk: Aho, Weinberger, Kernighan,报告生成器,格式化文本输出,用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件,或其它命令的输出。它支持...

Hai_Mo ⋅ 2017/09/19 ⋅ 0

Linux awk 命令

AWK是一种处理文本文件的语言,是一个强大的文本分析工具。 之所以叫AWK是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符。 语法 awk [选项...

yanfeilai528 ⋅ 2017/07/09 ⋅ 0

awk小技巧和深度应用

awk简介 awk 是一种编程语言,由AT&T 贝尔实验室的Alfred Aho,Peter Weinberger 和Brian Kernighan开发一种对文件进行指定规则浏览和抽取信息的工具。当然,有awk必然还要说sed,这俩都是上...

xiaobing002 ⋅ 2014/08/24 ⋅ 0

Linux文本处理工具

1、grep grep(global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打...

SupermanNet ⋅ 2017/06/16 ⋅ 0

linux sed&awk详解

sed sed为文本处理三剑客之一.本身就是一个管道命令,可以将文件进行增加,修改,删除,选取等操作。 格式:sed [-nrefi] [command] "文本字符串" 选项: -r: 支持扩展正则表达式; -n: 静默模...

china_lx1 ⋅ 2015/09/30 ⋅ 0

Linux报告生成器工具awk

Linux报告生成器工具awk awk:根据输入的信息格式化后显示出来 1.1、awk基本用法 awk [options] 'script' file1,file2,.... 或 awk [options] 'PATTERN [ACTION]' file1,file2.... 示例:awk ...

fuvip ⋅ 2017/11/18 ⋅ 0

awk使用案例总结

Linux Awk使用案例总结(nginx日志统计,文件对比合并等) 知识点: 1)数组 数组是用来存储一系列值的变量,可通过索引来访问数组的值。 Awk中数组称为关联数组,因为它的下标(索引)可以是...

liujing07 ⋅ 2017/11/20 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

iExec Blockchain Marketplace for Cloud

iExec Releases the First-Ever Blockchain Marketplace for Trading Cloud Computing Berlin, Germany, May 29, 2018. iExec has released its blockchain-based decentralized cloud marke......

openthings ⋅ 21分钟前 ⋅ 0

OSChina 周二乱弹 —— 加班的代码不要枉费了我的童子功

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @小小编辑:推荐歌曲《29》- 未完成乐队 《29》- 未完成乐队 手机党少年们想听歌,请使劲儿戳(这里) @FalconChen :#看球提醒# 02:00 巴西v...

小小编辑 ⋅ 40分钟前 ⋅ 11

Docker Swarm的前世今生

概述 在我的《Docker Swarm集群初探》一文中,我们实际体验了Docker Swarm容器集群技术的魅力,与《Kubernetes实践录》一文中提到的Kubernetes集群技术相比,Docker Swarm没有Kubernetes显得...

CodeSheep ⋅ 今天 ⋅ 0

骰子游戏代码开源地址

因为阿里云现在服务器已经停用了,所以上面的配置已经失效。 服务端开源地址:https://gitee.com/goalya/chat4.git 客户端开源地址:https://gitee.com/goalya/client4.git 具体运行界面请参考...

算法之名 ⋅ 今天 ⋅ 0

设计模式--装饰者模式

装饰者模式 定义 动态地给一个对象添加一些额外的职责。就增加功能来说,装饰模式相比生成子类更为灵活。 通用类图 意图 动态地给一个对象添加一些额外的职责。就增加功能来说,装饰模式相比...

gaob2001 ⋅ 今天 ⋅ 0

JavaScript零基础入门——(八)JavaScript的数组

JavaScript零基础入门——(八)JavaScript的数组 欢迎大家回到我们的JavaScript零基础入门,上一节课我们讲了有关JavaScript正则表达式的相关知识点,便于大家更好的对字符串进行处理。这一...

JandenMa ⋅ 今天 ⋅ 0

sbt网络问题解决方案

转自:http://dblab.xmu.edu.cn/blog/maven-network-problem/ cd ~/.sbt/launchers/0.13.9unzip -q ./sbt-launch.jar 修改 vi sbt/sbt.boot.properties 增加一个oschina库地址: [reposit......

狐狸老侠 ⋅ 今天 ⋅ 0

大数据,必须掌握的10项顶级安全技术

我们看到越来越多的数据泄漏事故、勒索软件和其他类型的网络攻击,这使得安全成为一个热门话题。 去年,企业IT面临的威胁仍然处于非常高的水平,每天都会看到媒体报道大量数据泄漏事故和攻击...

p柯西 ⋅ 今天 ⋅ 0

Linux下安装配置Hadoop2.7.6

前提 安装jdk 下载 wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz 解压 配置 vim /etc/profile # 配置java环境变量 export JAVA_HOME=/opt/jdk1......

晨猫 ⋅ 今天 ⋅ 0

crontab工具介绍

crontab crontab 是一个用于设置周期性被执行的任务工具。 周期性执行的任务列表称为Cron Table crontab(选项)(参数) -e:编辑该用户的计时器设置; -l:列出该用户的计时器设置; -r:删除该...

Linux学习笔记 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部