1 概述 MapReduce是一个高度抽象的大数据作业执行组件,整个作业过程主要有两个,分别是map与reduce,本文主要介绍MapReduce中的map与reduce任务数设置的方式,以及如何合理的设置map与reduc...
1 概述 MapReduce是一个高度抽象的大数据作业执行组件,整个作业过程主要有两个,分别是map与reduce,本文主要介绍MapReduce中的map与reduce任务数设置的方式,以及如何合理的设置map与reduc...
1 概述 我们一般都会将Hadoop部署到服务器中,那么就会出现在Windows中无法直接运行MapReduce任务,需要先将MapReduce任务导出为jar包,然后上传到服务器中运行,运行命令: $hadoop jar [j...
1 概述 Jenkins是一个Java语言编写的开源的持续集成工具,它的前身为Hudson,使用它可以进行项目的自动编译、测试与发布,这极大的减轻了团队之间的繁琐重复的工作,从而加快了整个项目的交付...
1 概述 HDFS是分布式文件系统,具有高度容错能力,运行在廉价的机器上。HDFS提供对应用程序数据的高吞吐量访问,适用于具有大型数据集的应用程序。 2 HDFS特性 (1)可用于存储超大文件,如(...
1 概述 本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图,将NameNode部署在master1,SecondaryNameNode部署在master2,slave1、slave2、slave3中分别部署一个DataNod...
1 概述 初期的互联网企业由于业务量较小,所以一般单机部署,实现单点访问即可满足业务的需求,这也是最简单的部署方式,但是随着业务的不断扩大,系统的访问量逐渐的上升,单机部署的模式已...
一、概述 ELK 已经成为目前最流行的集中式日志解决方案,它主要是由Logstash、Elasticsearch、Kibana三个组件组成,来共同完成实时日志的收集,存储,展示等一站式的解决方案,本文主要讲ELK...
在项目开发过程中,集合类的使用无处不在,但你是否考虑过针对不同的业务场景来选择使用对应的集合类来提高系统性能呢?这里总结了常用的java集合类的各自的特性,以及使用场景。
1、概述 大家都知道线程的创建是需要消耗系统有限的资源的,如果不加限制的创建线程那么最终会拖垮整个服务,好的一点是我们可以通过线程池的方式来解决,线程池为线程生命周期开销问题和资源...
概述 Java语言中关键字 volatile 被称作轻量级的 synchronized,与synchronized相比,volatile编码相对简单且运行的时的开销较少,但能够正确合理的应用好 volatile 并不是那么的容易,因为它...
概述 通常情况下,可能有多个线程同时访问数目很少的资源,如客户端建立了若干个线程同时访问同一数据库,这势必会造成服务端资源被耗尽的地步,那么怎样能够有效的来控制不可预知的接入量呢...
概述 Java 语言的一大特点就是可以进行自动垃圾回收处理,而无需开发人员过于关注系统资源,例如内存资源的释放情况。自动垃圾收集虽然大大减轻了开发人员的工作量,但是也增加了软件系统的负...
概述 JAX-RS(Java API for RESTful Web Services)是Java 提供用于开发RESTful Web 服务基于注解的 API,旨在定义一个统一的规范,使得 Java 程序员可以使用一套固定的接口来开发 REST 应用...
概述 一个大型的Java项目也许从开发到测试结束并未发现一些大的问题,但是在生产环境中还是会出现一些非常棘手的问题,如内存泄漏,遇到这样的问题对于一个经验尚浅的开发人员来说难度非常大...
概述 Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同数据区域。这些区域都有各自的用途,以及创建和销毁的时间,有的区域随着虚拟机进程的启动而存在,有些区域则是依...
引言 随着 Web "前后端分离" 架构的日渐普及,Angular.js 因为其 MVVM 模式使其受到广大前端开发者的青睐。然而,在前台项目开发过程中,依赖包的管理、JavaScript / SASS / Less 的编译和压...
概述 微服务是一种架构,其中的大型、复杂的软件应用程序由一个或多个更小的服务组成。每个微服务仅负责完成一项代表一种小业务能力的任务。这些微服务可使用任何编程语言开发。微服务是一种...
1. Git常用命令图 Workspace:工作区 Index / Stage:暂存区 Repository:本地仓库 Remote:远程仓库 2. 撤销刚刚git add(暂存的文件) git reset head <暂存的文件> 3. 撤销暂存区中指定的...
RabbitMQ由ERLANG实现,基于AMQP(Advanced Message Queuing Protocol)协议的开源实现,它是一个消息代理——消息传递的中介,支持多种客户端,如:Python、Java、Ruby、PHP、C#、JavaScrip...
简介 想必大家在平时的项目开发中经常要处理日期的问题,比如需要处理两个日期间隔的天数,使用JDK1.8以前自带的日期API处理相当的繁琐(JDK1.8的API已经重写了日期库,其实也是借鉴了Joda-...
没有更多内容
加载失败,请刷新页面