网上很多的关于hadoop的配置都很老了，一些文件对应的文件路径都已经发生了变化，而且有些文件还有缺失。我近期遇到的一个就是， mapred-site.xml文件找不到。 其实在/etc/hadoop/ 文件夹下面...

Sojourner 原意为“旅居者”， Sojourner Log 是从 eBay 带来的概念，意为记录访问者行为的日志。 原本是 Sojourner Log . 就是访问者的行为日志，这个词是从 eBay 学来的。 SOJ 是 DW 的同...

在我们实际应用中，我们经常在jsp中使用到路径，可以有一些是从项目开始的绝对路径有一些是相对路径。而经常源码照抄过来不能运行。 <% String path = request.getContextPath(); String b...

各位少年，康庄大道已为你指明，各自修炼自己的心法吧~哈哈哈

一、Session简单介绍 　　在WEB开发中，服务器可以为每个用户浏览器创建一个会话对象（session对象），注意：一个浏览器独占一个session对象(默认情况下)。因此，在需要保存用户数据时，服务...

框架构成 Servlet的框架是由两个Java包组成: javax.servlet和javax.servlet.http 在javax.servlet包中定义了所有的Servlet类都必须实现或扩展的的通用接口和类. 在javax.servlet.http包中定义...

spark程序是使用一个spark应用实例一次性对一批历史数据进行处理，spark streaming是将持续不断输入的数据流转换成多个batch分片，使用一批spark应用实例进行处理，侧重点在Steaming上面。我...

CPU镜头指的是镜头里带有芯片, 能和相机进行多种数据交换，从而进行高级的测光，测距，精准白平衡调节以及TTL闪光技术。反之就是非CPU镜头。 在使用不同的模式拍照片的时候，要注意自己使用的...

最近项目中遇到了这两个注解，遂总结一下： Spring中为了减少xml中配置，可以另起炉灶，声明一个配置类（例如SpringConfig）来对bean进行配置。而自己配置的类之所以起作用，关键就在于这两个...

放一张老生常谈的架构图吧： SparkContext可以说是Apache Spark的“众妙之门”，无论任何Spark工程，最最重要的一步就是正确的创建SparkContext，这是一切项目代码能够正确运行的基石。为什么...

序言 在以往的博客一天一个函数系列中，我们集中精力攻克了一座又一座的spark中那些晦涩的语法，收获了不少知识。如果以战喻，那就是我们的游击战取得了局部的显著效果。但是要想撼动整个spa...

http://blog.csdn.net/u011513853/article/details/52865076 要注意的一点是，在配置winutils.exe的时候，tmp/hive路径要全路径，譬如：C:\tmp\hive...

美团是数据驱动的互联网服务，用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志，这些日志数据将被汇总处理、分析、挖掘与学习，为美团的各种推荐、搜索系统甚至公司战略目标制...

spark包默认下载到.ivy2文件夹中，如果编译的时候提示包有问题，可以尝试将该文件下面的库给干掉，然后重新编译下载。 大多数问题都是sbt配置文件的问题，注意版本号的对应以及sbt的格式即可...

检查点是一个数据库事件，它把修改数据从高速缓存写入磁盘，并更新控制文件和数据文件，起到的是一个持久化的作用。在spark-streaming中它是这描述的 A streaming application must operate...

上一篇文章：一天一个RDD函数-1：map 为我们讲述了map函数的源码，并补充了源码涉及到的一些语法知识，为了有一个更好的承上启下的作用，本篇文章决定写flatMap。顾名思义，flatMap比map多了...

如果想搞懂，那就需要耐心

HIVE alter table 语句结构： CREATE TABLE test ( creatingTs BIGINT, a STRING, b BIGINT, c STRING, d STRING, e BIGINT, f BIGINT ); 如果需要删除 column f 列，可以使用以下语句： AL...

看到Scala类型后面可以带上参数，很好奇，遂总结于此。 类、特质、方法和函数都可以有类型参数。 将类型参数放置在名称之后，以方括号括起来。 类型界定的语法为： T<:UpperBound, T>:LowerB...

一、DStream和RDD的关系 DSream 代表了一系列连续的RDD，DStream中每个RDD包含特定时间间隔的数据，如下图所示： 从上图可以看出，一个DStream 对应了时间维度上的多个RDD。 DStream 作为Spa...