文档章节

统计出现频率最高的十个单词的程序性能分析

 大脸猫cat
发布于 2014/03/17 22:48
字数 747
阅读 665
收藏 2

李竹君 2011211964 0401115班

    1.使用C语言。

     2.整体思路:首先将一篇文章分词,分词的方法是将逐字符的判断一篇文章,如果该字符的ASCII码在“A~Z”或“a~z”之间(区分大小写),则该字符属于一个单词的一部分,如果该字符不在“A~Z”或者“a~z”,则该字符为两个单词之间的分隔符(多个标点或者空格相连的情况下在3.讲)。将分隔下来的单词和该单词的长度存入结构体,将所有结构体构成链表,将表头的单词与除表头外的所有单词进行比较,如果出现一个单词和原节点单词相等,则将该节点删掉,以此类推,直到最后一个节点,记录相等节点数目,并存入该节点结构体,然后再将表头的下一个节点单词与该节点的后续节点比较,以此类推,直到所有节点都比较完毕。再对所有链表节点内的相等节点数目进行升序排序,取前十位,则得到结果。

     3.具体实现细节:1)多个标点或空格:在形成链表的过程中,若出现多个标点或空格,则判断该节点内的单词是否为'\0',若为'\0',则原文中此处出现多个标点或空格相连。将该节点删去即可。2) 将节点的单词长度记录下来是为了在比较过程中提高效率,即单词长度不等则单词肯定不等。

     4.采用“选择排序”。

     5.原文档303kb.

      6.运行结果:

7.性能分析:



可以看到,总共程序运行1.6s,在单独工作的函数中,除主函数外,pre_sort()是占用时间百分比最多的,在pre_sort中,主要实现的是对于单词链表的处理,即使链表节点的单词不重复,并记录该单词出现的次数,其次是sort(),该函数主要是节点频数进行排序,如果要优化过程的话,可以从对排序进行优化,当单词数目较多时,改用快速排序,可以降低运行时间,优化代码。

8.心得:写完程序之后,我感觉技术性的工作就好比变魔术,其实原理是非常简单的,甚至可以说简单的可笑,但是当你就是做出这么一个简单的东西出来之后,一些外行们有时候会用崇拜的眼光看着你,觉得你很厉害,很高深莫测。但是制作的过程他们却不知道,也许知道之后他们只是会哑然失笑,原来这个东西的制作过程是如此的简单。这个可以说就是技术的魅力了。

© 著作权归作者所有

共有 人打赏支持
粉丝 0
博文 2
码字总数 1360
作品 0
南岸
加载中

评论(2)

大脸猫cat

引用来自“genliu777”的评论

你这个分析报告的曲线是什么作出来的?

额……这个是我们的作业……忘了啥时候做的了……
g
genliu777
你这个分析报告的曲线是什么作出来的?
利用pandas+python制作100G亚马逊用户评论数据词云

Part 1: 你真的认识大数据吗? 我周围很多人,开口闭口都是云计算、大数据。你要是真的去追究什么事大数据,什么级别的数据才叫做大,那么他们多半是答不上来的。我见过好几个人,处理过的最...

YoghurtIce
2015/12/18
0
0
最新阿里巴巴面试题(附带面试标准答案)

在上一节中,我们已经介绍了关于阿里巴巴的任职要求,这节我就详细的介绍一下关于阿里巴巴的面试题(涉及到标准代码部分不予以出现,如果想要可以加群:725479218,里面可以进行技术分享、技术...

柯西带你学编程
06/02
0
0
用Python分析《红楼梦》:见证了贾府的兴衰,你是否还能“笑道”世事无常

没读过《红楼梦》也能知道前后四十回是不是一个作者写的?很久以前,数据侠黎晨,用机器学习的算法分析了《红楼梦》,认为后四十回和前八十回内容上有明显差距。不过,数据侠楼宇却不这么认为...

dqcfkyqdxym3f8rb0
2017/12/09
0
0
如何站在大数据的角度看100000个故事

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文来自云+社区翻译社,作者HesionBlack 最近我从马克·里德尔 那拿到了很棒的自然语言方面的数据集 :从WIKI下载了112000个故事...

腾讯云加社区
06/15
0
0
【译文】100000个故事的情节分析:一个简单案例

作者:David Robinson 译者:钱亦欣 近来我从Mark Riedel那里拿到了一个很棒的自然语言方面的数据集。它有从英语wiki下载的112000个故事作品的情节,故事作品包括了图书,电影,电视剧和游戏...

上大飞猪钱小莲
2017/04/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

学习设计模式——中介者模式

1. 认识中介者模式 1. 定义:用一个中介对象来封装一系列的对象交互行为,中介者使得各对象不需要显式的互相引用,从而使其松散耦合,独立的改变他们之间的交互。 2. 结构: Mediator:中介者...

江左煤郎
32分钟前
0
0
深入理解Plasma(1):Plasma 框架

这一系列文章将围绕以太坊的二层扩容框架,介绍其基本运行原理,具体操作细节,安全性讨论以及未来研究方向等。本篇文章作为开篇,主要目的是理解 Plasma 框架。 Plasma 作为以太坊的二层扩容...

HiBlock
40分钟前
0
0
Java 8 日期 示例

Java 8 推出了全新的日期时间API。Java处理日期、日历和时间的方式一直为社区所诟病,将 java.util.Date设定为可变类型,以及SimpleDateFormat的非线程安全使其应用非常受限。Java也意识到需...

阿刚ABC
今天
1
0
RxJava操作符lift 笔记

在内部,每个Rx operator都做3件事: 它订阅源并观察值。 它根据操作员的目的转换观察到的序列。 它通过调用onNext,onError和onCompleted将修改后的序列推送到自己的订阅者。 compose运算符...

woshixin
今天
1
0
lnmp+coreseek实现站内全文检索(安装篇)

软件安装包 安装环境 系统环境 centos7.2 1核2G 软件环境 coreseek-3.2.14 lnmp1.5 安装mmseg 更新依赖包和安装编译环境 yum -y install m4 autoconf automake libtoolyum -y install gcc g...

毛毛雨rain
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部