加载中
关于hadoop2.7.4中配置文件的问题

网上很多的关于hadoop的配置都很老了,一些文件对应的文件路径都已经发生了变化,而且有些文件还有缺失。我近期遇到的一个就是, mapred-site.xml文件找不到。 其实在/etc/hadoop/ 文件夹下面...

2017/10/19 11:02
10
SOJ是什么意思

Sojourner 原意为“旅居者”, Sojourner Log 是从 eBay 带来的概念,意为记录访问者行为的日志。 原本是 Sojourner Log . 就是访问者的行为日志,这个词是从 eBay 学来的。 SOJ 是 DW 的同...

2017/10/12 22:19
14
JSP中的资源路径问题

在我们实际应用中,我们经常在jsp中使用到路径,可以有一些是从项目开始的绝对路径有一些是相对路径。而经常源码照抄过来不能运行。 <% String path = request.getContextPath(); String b...

2017/10/12 15:41
9
JavaWeb修炼框架图

各位少年,康庄大道已为你指明,各自修炼自己的心法吧~哈哈哈

2017/10/09 15:28
24
Session是什么

一、Session简单介绍   在WEB开发中,服务器可以为每个用户浏览器创建一个会话对象(session对象),注意:一个浏览器独占一个session对象(默认情况下)。因此,在需要保存用户数据时,服务...

2017/10/09 14:36
17
精炼Web开发中Servlet框架用法

框架构成 Servlet的框架是由两个Java包组成: javax.servlet和javax.servlet.http 在javax.servlet包中定义了所有的Servlet类都必须实现或扩展的的通用接口和类. 在javax.servlet.http包中定义...

2017/10/09 11:02
13
Spark与Spark-Streaming关系

spark程序是使用一个spark应用实例一次性对一批历史数据进行处理,spark streaming是将持续不断输入的数据流转换成多个batch分片,使用一批spark应用实例进行处理,侧重点在Steaming上面。我...

2017/10/09 00:46
33
CPU镜头和非CPU镜头

CPU镜头指的是镜头里带有芯片, 能和相机进行多种数据交换,从而进行高级的测光,测距,精准白平衡调节以及TTL闪光技术。反之就是非CPU镜头。 在使用不同的模式拍照片的时候,要注意自己使用的...

2017/10/08 01:02
20
Spring Boot中的@Configuration与@Bean

最近项目中遇到了这两个注解,遂总结一下: Spring中为了减少xml中配置,可以另起炉灶,声明一个配置类(例如SpringConfig)来对bean进行配置。而自己配置的类之所以起作用,关键就在于这两个...

2017/10/08 00:35
27
Dive into Spark Context

放一张老生常谈的架构图吧: SparkContext可以说是Apache Spark的“众妙之门”,无论任何Spark工程,最最重要的一步就是正确的创建SparkContext,这是一切项目代码能够正确运行的基石。为什么...

2017/10/07 17:38
39
深度思考Spark Runtime机制

序言 在以往的博客一天一个函数系列中,我们集中精力攻克了一座又一座的spark中那些晦涩的语法,收获了不少知识。如果以战喻,那就是我们的游击战取得了局部的显著效果。但是要想撼动整个spa...

2017/10/06 18:23
900
spark在windows下的安装配置

http://blog.csdn.net/u011513853/article/details/52865076 要注意的一点是,在配置winutils.exe的时候,tmp/hive路径要全路径,譬如:C:\tmp\hive...

2017/09/29 15:06
11
Spark在美团的实践

美团是数据驱动的互联网服务,用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志,这些日志数据将被汇总处理、分析、挖掘与学习,为美团的各种推荐、搜索系统甚至公司战略目标制...

2017/09/29 14:29
28
spark IDEA项目开发中常用的坑

spark包默认下载到.ivy2文件夹中,如果编译的时候提示包有问题,可以尝试将该文件下面的库给干掉,然后重新编译下载。 大多数问题都是sbt配置文件的问题,注意版本号的对应以及sbt的格式即可...

2017/09/27 16:08
14
一天一个RDD函数-3:checkpointRDD

检查点是一个数据库事件,它把修改数据从高速缓存写入磁盘,并更新控制文件和数据文件,起到的是一个持久化的作用。在spark-streaming中它是这描述的 A streaming application must operate...

2017/09/26 01:05
15
一天一个RDD函数-2:flatMap

上一篇文章:一天一个RDD函数-1:map 为我们讲述了map函数的源码,并补充了源码涉及到的一些语法知识,为了有一个更好的承上启下的作用,本篇文章决定写flatMap。顾名思义,flatMap比map多了...

2017/09/24 16:21
18
一天一个RDD函数-1:map

如果想搞懂,那就需要耐心

2017/09/24 14:28
20
如何快速删除hive表中的字段

HIVE alter table 语句结构: CREATE TABLE test ( creatingTs BIGINT, a STRING, b BIGINT, c STRING, d STRING, e BIGINT, f BIGINT ); 如果需要删除 column f 列,可以使用以下语句: AL...

2017/09/21 22:05
165
Scala类型参数

看到Scala类型后面可以带上参数,很好奇,遂总结于此。 类、特质、方法和函数都可以有类型参数。 将类型参数放置在名称之后,以方括号括起来。 类型界定的语法为: T<:UpperBound, T>:LowerB...

2017/09/17 19:25
30
DStream到RDD过程解析

一、DStream和RDD的关系 DSream 代表了一系列连续的RDD,DStream中每个RDD包含特定时间间隔的数据,如下图所示: 从上图可以看出,一个DStream 对应了时间维度上的多个RDD。 DStream 作为Spa...

2017/09/16 16:33
66

没有更多内容

加载失败,请刷新页面

返回顶部
顶部