加载中
Spark

spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统,因效率高,易用以及通用性越来越得到大家的青睐,我自己最近半年在接触spark以及spark streaming之后,对spark技术的使用...

2018/08/30 13:42
63
ant+maven+springboot----->windows部署到linux

ant+maven+springboot----->windows部署到linux 首先 安装ant/maven 配置ANT_HOME/MAVEN_HOME 书写build.xml ---------------------------------------------------------------------------...

Java 8 stream

为什么需要 Stream Stream 作为 Java 8 的一大亮点,它与 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念。它也不同于 StAX 对 XML 解析的 Stream,也不是 Amazon Kinesis 对...

2017/04/26 15:23
44
kylin(麒麟)分页遇到的问题

首先对kylin有一个初步的了解。http://www.csdn.net/article/2014-10-25/2822286 首先导入kylin的jdbc驱动: pom文件如下 <dependency> <groupId>org.apache.kylin</groupId> <artifactId>k...

hadoop集群上运行自定义wordcount

hadoop jar /root/apps/wc.jar cn.itcast.bigdata.mr.wcdemo.WordcountDriver hdfs://mini1:9000/1.txt.copy hdfs://mini1:9000/out1 1,编写好wordcount程序,打成jar包放到服务器上,指定文...

spark Streaming和storm区别

Storm风暴和Spark Streaming火花流都是分布式流处理的开源框架。这里将它们进行比较并指出它们的重要的区别。 处理模型,延迟 虽然这两个框架都提供可扩展性和容错性,它们根本的区别在于他们的...

Lucerne倒排索引原理

Lucerne使用的是倒排文件索引结构。该结构及相应的生成算法如下:    设有两篇文章1和2: 文章1的内容为:Tom lives in Guangzhou,I live in Guangzhou too.    文章2的内容为:He once...

坚持spark研究。

立贴!!!

2017/04/05 17:04
6
点击流日志分析架构

整体流程设计 1、通过日志收集系统将数据获取并存放到某个存储介质中,本例可以使用kafka 2、Storm程序从kafka中消费数据数据,逐条消费的日志 3、Storm程序从数据库中加载产品人员配置的任务...

2017/02/06 15:30
19
MapReduce的Shuffle过程介绍

转自 http://blog.itpub.net/29754888/viewspace-1704959/ MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。MapRe...

2017/02/06 13:56
59
spring 普通类 获取容器里面的bean。也支持获取 注解

容器添加bean <bean id="spring" class="com.ceopen.eoss.spring.SpringUtil" /> SpringUtil package com.ceopen.eoss.spring; import org.springframework.beans.BeansException; import or...

win10查看端口进程

具体步骤如下: 1、win+R打开cmd窗口 2、netstat -ano列出所有端口的情况,找到被占用的端口 3、输入命令netstat -aon|findstr "8080" 找对应的PID 4、输入命令tasklist|findstr "21548" 查找...

2018/07/13 14:11
2
知识图谱演化

知识图谱表示,知识存储。 知识图谱可以辅助搜索。网页搜索->语义搜索 KG辅助回答 KG辅助决策-----》kensho金融方面的 KG辅助AI:常识推理

2018/07/11 13:32
98
Java8内存模型—永久代(PermGen)和元空间(Metaspace)

一、JVM 内存模型   根据 JVM 规范,JVM 内存共分为虚拟机栈、堆、方法区、程序计数器、本地方法栈五个部分。   1、虚拟机栈:每个线程有一个私有的栈,随着线程的创建而创建。栈里面存着...

JVM堆的理解

在JVM中,我们经常提到的就是堆了,堆确实很重要,其实,除了堆之外,还有几个重要的模块,看下图: 大 多数情况下,我们并不需要关心JVM的底层,但是如果了解它的话,对于我们系统调优是非常...

2018/06/19 23:30
17
多线程并发常见问题

多线程并发常见问题 一 概述 1.volatile 保证共享数据一旦被修改就会立即同步到共享内存(堆或者方法区)中。 2.线程访问堆中数据的过程 线程在栈中建立一个数据的副本,修改完毕后将数据同步...

2018/06/19 23:15
10
concurrentHashmap实现原理

concurrentHashmap是java5支持 高并发、高吞吐量的线程安全HashMap实现. 实现原理: 允许多个修改并发进行,关键技术是锁分离。分为多个段(segment)来表示不同的部分,每个段就是一个小的h...

初识Queue队列

1. wait和notify模拟Queue 1.1 wait / notify 基础知识 线程通信概念:线程是操作系统中独立的个体,但这些个体如果不经过特殊的处理,就不能成为一个整体,线程之间的通信就成为整体的必用方...

pmp

pmp

pmp
2018/02/28 13:24
2

没有更多内容

加载失败,请刷新页面

返回顶部
顶部