文档章节

Go 并发排序

o
 osc_4nmshwhm
发布于 2018/08/07 11:19
字数 391
阅读 4
收藏 0
go

精选30+云产品,助力企业轻松上云!>>>

单机版外部排序

一、基础补充

2-1 Hello world网络版

(访问:localhost:8888)

2-2 Helloworld并发版

第一种

第二种

第三种

第四种

2-3 内部排序示例

 

3-1 归并排序算法

主要结构:

3-2 基础节点

3-3 归并节点

 

3-4 文件读写

 

生成随机数

ArraySource

支持分块

创建一个用于排序的源头,通过可变参数...传入设置的值,返回的时候注意要close(out)

InMemSort

创建一个内部排序函数,从内存中获取并利用sort.Ints(a)来排序。

使用:

Merge

针对多个源进行排序,与上面区别是输入源多了一个,需要判断

使用

ReaderSource

读取数据源,chunkSize是确认读取数据大小,如果读完就不读了。注意这里语句make([ ]byte,8)

WriteSink

写入数据

RandomSource

利用随机数生成数据

MergeN

搭建归并节点组

归并排序

 使用

外部排序整合小文件

使用:

具体实现:

运行结果(查看大小)

外部排序整合大文件

在pipeline0807里增加

(因为大文件一会读不玩,我们利用时间看下到底是怎么的)

在InMemSort中增加输出,并将out创建时候,改成1024

在Merge里增加输出

 在外部排序里面增加

在createPipeline调用init函数

修改主函数:计算机是4核的,因此参数为4比较划算,文件大小改为800000000比较慢,这里我采用较小的

输出大致为:

 

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。

暂无文章

Java线程池

前言 Java中对线程池的抽象是ThreadPoolExecutor类,Executors是一个工具类,内置了多种创建线程池的方法: newFixedThreadPool:固定长度线程池 newCachedThreadPool :可缓存线程池 newSin...

nullpointerxyz
28分钟前
35
0
Python笔记:用Python制作二维码

这些年,二维码在我国的日常使用频率特别大。因为其具有简单及安全性吧!除了用网络工具制作二维码,其实用JavaScript或Python也可以制作二维码,而且更有个性。 示例一(制作普通黑白二维码...

tengyulong
39分钟前
0
0
Redis-初体验/数据结构

定义: Redis 是 C 语言开发的一个开源的(遵从 BSD 协议)高性能键值对(key-value)的内存数据库,可以用作数据库、缓存、消息中间件等。它是一种 NoSQL(not-only sql,泛指非关系型数据库...

心田已荒
42分钟前
15
0
如何在保留订单的同时从列表中删除重复项? - How do you remove duplicates from a list whilst preserving order?

问题: Is there a built-in that removes duplicates from list in Python, whilst preserving order? 是否有内置的程序在保留顺序的同时从Python列表中删除重复项? I know that I can us...

fyin1314
今天
29
0
以太坊智能合约开发常见的10个安全问题

本文介绍CheckMarx安全研究小组通过扫描公开的以太坊智能合约所发现的Solidity智能合约开发中常见的十大安全问题,其中__未检查的外部调用__ 和 高成本循环 分列排行榜前两名。该安全问题排行...

区块链教程
今天
19
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部