连击 天
fork: star:
网上很多的关于hadoop的配置都很老了,一些文件对应的文件路径都已经发生了变化,而且有些文件还有缺失。我近期遇到的一个就是, mapred-site.xml文件找不到。 其实在/etc/hadoop/ 文件夹下面...
Sojourner 原意为“旅居者”, Sojourner Log 是从 eBay 带来的概念,意为记录访问者行为的日志。 原本是 Sojourner Log . 就是访问者的行为日志,这个词是从 eBay 学来的。 SOJ 是 DW 的同...
在我们实际应用中,我们经常在jsp中使用到路径,可以有一些是从项目开始的绝对路径有一些是相对路径。而经常源码照抄过来不能运行。 <% String path = request.getContextPath(); String b...
一、Session简单介绍 在WEB开发中,服务器可以为每个用户浏览器创建一个会话对象(session对象),注意:一个浏览器独占一个session对象(默认情况下)。因此,在需要保存用户数据时,服务...
框架构成 Servlet的框架是由两个Java包组成: javax.servlet和javax.servlet.http 在javax.servlet包中定义了所有的Servlet类都必须实现或扩展的的通用接口和类. 在javax.servlet.http包中定义...
spark程序是使用一个spark应用实例一次性对一批历史数据进行处理,spark streaming是将持续不断输入的数据流转换成多个batch分片,使用一批spark应用实例进行处理,侧重点在Steaming上面。我...
CPU镜头指的是镜头里带有芯片, 能和相机进行多种数据交换,从而进行高级的测光,测距,精准白平衡调节以及TTL闪光技术。反之就是非CPU镜头。 在使用不同的模式拍照片的时候,要注意自己使用的...
最近项目中遇到了这两个注解,遂总结一下: Spring中为了减少xml中配置,可以另起炉灶,声明一个配置类(例如SpringConfig)来对bean进行配置。而自己配置的类之所以起作用,关键就在于这两个...
放一张老生常谈的架构图吧: SparkContext可以说是Apache Spark的“众妙之门”,无论任何Spark工程,最最重要的一步就是正确的创建SparkContext,这是一切项目代码能够正确运行的基石。为什么...
序言 在以往的博客一天一个函数系列中,我们集中精力攻克了一座又一座的spark中那些晦涩的语法,收获了不少知识。如果以战喻,那就是我们的游击战取得了局部的显著效果。但是要想撼动整个spa...
http://blog.csdn.net/u011513853/article/details/52865076 要注意的一点是,在配置winutils.exe的时候,tmp/hive路径要全路径,譬如:C:\tmp\hive...
美团是数据驱动的互联网服务,用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志,这些日志数据将被汇总处理、分析、挖掘与学习,为美团的各种推荐、搜索系统甚至公司战略目标制...
spark包默认下载到.ivy2文件夹中,如果编译的时候提示包有问题,可以尝试将该文件下面的库给干掉,然后重新编译下载。 大多数问题都是sbt配置文件的问题,注意版本号的对应以及sbt的格式即可...
检查点是一个数据库事件,它把修改数据从高速缓存写入磁盘,并更新控制文件和数据文件,起到的是一个持久化的作用。在spark-streaming中它是这描述的 A streaming application must operate...
上一篇文章:一天一个RDD函数-1:map 为我们讲述了map函数的源码,并补充了源码涉及到的一些语法知识,为了有一个更好的承上启下的作用,本篇文章决定写flatMap。顾名思义,flatMap比map多了...
HIVE alter table 语句结构: CREATE TABLE test ( creatingTs BIGINT, a STRING, b BIGINT, c STRING, d STRING, e BIGINT, f BIGINT ); 如果需要删除 column f 列,可以使用以下语句: AL...
看到Scala类型后面可以带上参数,很好奇,遂总结于此。 类、特质、方法和函数都可以有类型参数。 将类型参数放置在名称之后,以方括号括起来。 类型界定的语法为: T<:UpperBound, T>:LowerB...
一、DStream和RDD的关系 DSream 代表了一系列连续的RDD,DStream中每个RDD包含特定时间间隔的数据,如下图所示: 从上图可以看出,一个DStream 对应了时间维度上的多个RDD。 DStream 作为Spa...
没有更多内容
加载失败,请刷新页面
文章删除后无法恢复,确定取消删除此文章吗?
动弹删除后,数据将无法恢复
评论删除后,数据将无法恢复