文档章节

AWK,Python 统计文本

jastme
 jastme
发布于 2014/06/26 09:12
字数 356
阅读 46
收藏 0
需求,读一个文件,在遇到某个字符后退出,然后统计前面每个字符串出现的次数


root@ubuntu001:~# cat test
1 2 3 4 5 6 7 8
2 3 4 5 6 7 8 9
1 3 5 6 7 8 9 1
2 3 5 6 7 8 9 1
1 2 4 5 6 8 9 d
12 33 55 667 999 4242 

awk历遍文本到指定字符串退出,统计

root@ubuntu001:~# awk '{for(i=1;i<=NF;i++){if( $i=="d" ){exit}else{a[$i]++}}}END{for(i in a){print i,a[i]}}' test
1 5
2 4
3 4
4 3
5 5
6 5
7 4
8 5
9 4

python统计;注释的地方为去重部分--》写入字典,再读字典,有点不科学了;

#!/usr/bin/python
# -*- coding:utf-8 -*-
f=open('/root/test','r')
a=''
b={}
for i in f.read():
    if 'd' in i:
        a=a+i[:i.index('d')]
        break
    else:
        a=a+i
m=list(set(list(a)))                             ###########    set可以对列表去重,好用
for n in m:
    print '%s Appeared %s number of times' %(n,a.count(n))
#for k in a:
#    if k==' ':
#        pass
#    elif k=='\n':
#        pass
#    else:
#        b[k]=a.count(k)
#for key,vaule in b.items():        
#    print '%s Appeared %s number of times' %(key,vaule[1])

root@ubuntu001:~# ./douniwan.py 
1 Appeared 5 number of times
3 Appeared 4 number of times
2 Appeared 4 number of times
5 Appeared 5 number of times
4 Appeared 3 number of times
7 Appeared 4 number of times
6 Appeared 5 number of times
9 Appeared 4 number of times
8 Appeared 5 number of times


© 著作权归作者所有

共有 人打赏支持
jastme
粉丝 36
博文 136
码字总数 62086
作品 0
成都
程序员
私信 提问
linux里面python调用系统命令问题

想用linux里的awk处理一个文本,输入行号,打印出来。因为数据是逗号分隔的csv文件,我第一时间就想起了awk。但是在写python时,出错了。 以下是用shell写的程序可以运行: #!/bin/bash echo...

songoex
2016/02/22
653
2
Linux Shell学习简单小结

shelllinuxperformancefunctionfile if-fi [cpp] view plaincopyprint? #! /bin/bash # 删除文件 和 新建文件 file=readme function delFile(){ if [ -e ./$file ];then rm -f ./$file echo ......

Zero零_度
2015/04/08
0
0
python统计apache、nginx访问日志IP访问次数并且排序(显示前20条)

前言:python统计apache、nginx访问日志IP访问次数并且排序(显示前20条)。其实用awk+sort等命令可以实现,用awk数组也可以实现,这里只是用python尝试下。 apache脚本: ips = {}with ope...

sailikung
2018/07/01
0
0
Linux Shell 文本处理工具集锦

Linux Shell 文本处理工具集锦 本文将介绍Linux下使用Shell处理文本时最常用的工具: find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk; 提供的例子和参数都是最常用和最为实用...

平凡之路
2014/10/13
0
0
Hadoop兮,杀鸡别用牛刀,python+shell实现一般日志文件的查询、统计

简单的日志统计是不需要使用重量级的Hadoop,我用python实现了日志的统计。原理是用fabric登录到远程linux,组合使用grep、uniq、sort、awk对日志进行操作,可以根据正则表达式指定规则抽取符...

小水熊
2013/08/03
0
1

没有更多内容

加载失败,请刷新页面

加载更多

多表查询

第1章 多表关系实战 1.1 实战1:省和市  方案1:多张表,一对多  方案2:一张表,自关联一对多 1.2 实战2:用户和角色 (比如演员和扮演人物)  多对多关系 1.3 实战3:角色和权限 (比如...

stars永恒
今天
7
0
求推广,德邦快递坑人!!!!

完全没想好怎么来吐槽自己这次苦逼的德邦物流过程了,只好来记一个流水账。 从寄快递开始: 2019年1月15日从 德邦物流 微信小app上下单,截图如下: 可笑的是什么,我预约的是17号上门收件,...

o0无忧亦无怖
昨天
7
0
Mac Vim配置

1.升级 vim   我自己 MacBook Pro 的系统还是 10.11 ,其自带的 vim 版本为 7.3 ,我们将其升至最新版: 使用 homebrew : brew install vim --with-lua --with-override-system-vim 这将下...

Pasenger
昨天
8
0
vmware安装Ubuntu上不了网?上网了安装不了net-tools,无法执行ifconfig?

1.重新设置网络适配器还是不行,如下指定nat 2.还需要指定共享网络,我是在无线环境下 3.无法执行ifconfig https://packages.ubuntu.com/bionic/net-tools到这个网站下载net-tools的deb文件...

noob_chr
昨天
6
0
解决SVN:E210007无法协商认证机制

svn:E210007 svn: Cannot negotiate authentication mechanism 执行下面代码即可 sudo yum install cyrus-sasl cyrus-sasl-plain cyrus-sasl-ldap...

临江仙卜算子
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部