分布式计算多机部署与配置

在 分布式计算上手demo, 分布式计算sayhello, 分布式计算完整demo中, 对于工人(worker)、工头(ctor),parkserver在多台计算机上的部署和配置: 每台计算机放置实现类,fourinone.jar,c...

分布式计算互相sayhello

假设你已经看过 分布式计算上手demo指南,对fourinone基本的分布式并行计算方式有了初步了解。 本demo演示了工头和几个工人之间互相sayhello的简单例子,从而了解到集群计算节点之间互相交互,...

分布式计算自动部署

对于一个分布式计算的应用,如果不需要自动部署,将工头工人程序文件分别部署到相应机器运行即可,不需要过多配置。 fourinone2.0可以支持自动化class和jar包部署,class和jar包只需放在工头机器...

操作分布式文件之八:如何批量并行读写远程文件和事务补偿处理

FileBatch类提供了一系列对批量并行读写操作支持(包括对FttpAdapter和FileAdapter),它跟并行读写的区别是不需要检查结果,会等到所有并行读写任务全部完成才返回,并在发生异常时提供事务...

操作分布式文件之七:如何并行读写远程文件

FttpAdapter是通过FttpReadAdapter的tryReadAll方法进行并行读 FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/log/1.log"); Result<byte[]> rs = fa.getFttpReader().tryRea...

操作分布式文件之六:如何解析远程文件

假设通过FttpAdapter已经读取到远程文件中一部分数据,如下: FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/log/1.log"); FttpReadAdapter reader = fa.getFttpReader(); ...

操作分布式文件之五:如何读写远程文件

FttpAdapter是通过FttpReadAdapter来直接读取远程文件内容 FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/log/1.log"); FttpReadAdapter reader = fa.getFttpReader(); byte...

操作分布式文件之四:如何进行集群内文件复制和并行复制

集群文件复制是经常面临的需求,比如备份容灾,文件迁移,同步数据等等 FttpAdapter提供了简单高效的文件复制方法,支持远程文件的集群内复制 FttpAdapter fromfile = new FttpAdapter("fttp...

操作分布式文件之三:如何访问和操作远程文件

FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/qianfeng.py/fttp/tmp/1.log"); 上面实例化一个FttpAdapter类,并输入一个fttp路径,可以是一个目录路径,也可以是个文件路径...

操作分布式文件之二:如何访问集群文件根目录

启动FttpAdapter后,可以使用它的api进行相关操作: FttpAdapter.fttpRoots()是一个静态方法,可以得到集群文件系统根目录,它返回一个String数组,通常是ip字符对应每台计算机。 listRoots(...

操作分布式文件之一:如何搭建配置FttpAdapter环境

FttpAdapter的使用很简单,在每台计算机上启动一个FttpServer即可,另外需要启动一个ParkServer负责协同。ParkServer也可以和其中一个FttpServer放在相同计算机上 1、启动ParkServerDemo(它...

Fourinone2.0对分布式文件操作的支持

Fourinone2.0里通过FttpAdapter和FileAdapter实现文件io的支持。其中,FttpAdapter提供对远程文件的操作,FileAdapter提供对本地文件的操作,两者api和使用相似,这里主要说明FttpAdapter: ...

fourinone架构原理ppt

Fourinone提供了一个4合1分布式框架和简单易用的编程api,实现对多台计算机cpu,内存,硬盘的统一利用,从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民...

淘宝Fourinone分布式计算框架性能、压力、容灾测试报告

Fourinone在去年11月在淘宝内部通过了压测,上亿排序和wordcount等经典指标均优于hadoop,这是一份长达10多页的详细测试报告: http://down.51cto.com/data/337250 (下载无须积分)...

淘宝Fourinone和Hadoop的完整对比

fourinone-1.11.09 hadoop-0.21.0 体积 82K 71M 依赖关系 就一个jar,没有依赖 约12项jar包依赖 配置 就一个配置文件 较多配置文件和复杂属性 集群搭建 简单,每台机器放一个jar和配置文件 复...

用淘宝Fourinone实现Hadoop经典实例wordcount

很多人是通过wordcount入门分布式并行计算, 该demo演示了Hadoop的经典实例wordcount的实现 输入数据:n个数据文件,每个1g大小,为了方面统计,每个文件的数据由“aaa bbb ... ccc”(由空格分...

<七>基于Fourinone实现MQ demo

FourInOne也可以当成简单的mq来使用,该demo演示了队列和主题订阅两种模式的实现 一、队列 将domain视为mq队列,每个node为一个队列消息,检查domain的变化来获取队列消息。 Sender:是一个队...

<六>基于Fourinone实现分布式缓存demo

利用fourinone可以轻松实现分布式缓存功能: 1、中小应用的缓存实现:直接启动一个parkserver,分别在两个java进程中使用ParkLocal的create和get方法即可实现缓存的读写操作。 2、如果是大型...

<五>基于Fourinone实现分布式锁demo

LockDemo是利用fourinone进行分布式锁的实现: 可以启动多个LockDemo实例,每个实例在fourinone上建立一个自己的node, node的domain为lock, node的值为node 然后再轮循判断domain lock的第一...

<四>基于Fourinone实现集群管理demo

对于像淘宝这样上万台服务器集群环境的大型互联网应用, 通常我们面临这样一种需求: 我们需要一个集群管理者管理集群里的服务器,同一个集群中任何一台服务器宕机,其他服务器都能感知. 如果是...

没有更多内容

加载失败,请刷新页面