加载中
Spark

spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统,因效率高,易用以及通用性越来越得到大家的青睐,我自己最近半年在接触spark以及spark streaming之后,对spark技术的使用...

2018/08/30 13:42
63
知识图谱01

KG Embeding 知识抽取 知识抽取主要方法

2018/07/12 12:10
13
知识图谱概要

知识图谱 KG辅助搜索 KG辅助问答 KG辅助决策 KG辅助AI:常识推理 KG的本质

2018/07/11 23:24
32
Spark

在大数据领域,只有深挖数据科学领域,走在学术前沿,才能在底层算法和模型方面走在前面,从而占据领先地位。 Spark的这种学术基因,使得它从一开始就在大数据领域建立了一定优势。无论是性能...

2018/06/28 10:12
44
Spark: 基本架构及原理

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和...

Accumulator操作

Accumulator简介 Accumulator是spark提供的累加器,顾名思义,该变量只能够增加。 只有driver能获取到Accumulator的值(使用value方法),Task只能对其做增加操作(使用 +=)。你也可以在为A...

ant+maven+springboot----->windows部署到linux

ant+maven+springboot----->windows部署到linux 首先 安装ant/maven 配置ANT_HOME/MAVEN_HOME 书写build.xml ---------------------------------------------------------------------------...

对组织的贡献

成为管理者---对组织的贡献 (很多人常常有这样的情绪,总是觉得组织或者上司亏待了他们。 或者是怀才不遇,其实这是个人的偏见。 一位知识工作者,他的“表现”是由,他个人的贡献而定的。)...

Java 8 stream

为什么需要 Stream Stream 作为 Java 8 的一大亮点,它与 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念。它也不同于 StAX 对 XML 解析的 Stream,也不是 Amazon Kinesis 对...

2017/04/26 15:23
44
kylin(麒麟)分页遇到的问题

首先对kylin有一个初步的了解。http://www.csdn.net/article/2014-10-25/2822286 首先导入kylin的jdbc驱动: pom文件如下 <dependency> <groupId>org.apache.kylin</groupId> <artifactId>k...

hadoop集群上运行自定义wordcount

hadoop jar /root/apps/wc.jar cn.itcast.bigdata.mr.wcdemo.WordcountDriver hdfs://mini1:9000/1.txt.copy hdfs://mini1:9000/out1 1,编写好wordcount程序,打成jar包放到服务器上,指定文...

spark Streaming和storm区别

Storm风暴和Spark Streaming火花流都是分布式流处理的开源框架。这里将它们进行比较并指出它们的重要的区别。 处理模型,延迟 虽然这两个框架都提供可扩展性和容错性,它们根本的区别在于他们的...

Lucerne倒排索引原理

Lucerne使用的是倒排文件索引结构。该结构及相应的生成算法如下:    设有两篇文章1和2: 文章1的内容为:Tom lives in Guangzhou,I live in Guangzhou too.    文章2的内容为:He once...

坚持spark研究。

立贴!!!

2017/04/05 17:04
6
点击流日志分析架构

整体流程设计 1、通过日志收集系统将数据获取并存放到某个存储介质中,本例可以使用kafka 2、Storm程序从kafka中消费数据数据,逐条消费的日志 3、Storm程序从数据库中加载产品人员配置的任务...

2017/02/06 15:30
19
MapReduce的Shuffle过程介绍

转自 http://blog.itpub.net/29754888/viewspace-1704959/ MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。MapRe...

2017/02/06 13:56
59
spring 普通类 获取容器里面的bean。也支持获取 注解

容器添加bean <bean id="spring" class="com.ceopen.eoss.spring.SpringUtil" /> SpringUtil package com.ceopen.eoss.spring; import org.springframework.beans.BeansException; import or...

快速排序原理

排序图表: 一、插入排序   每次将一个待排序的数据,跟前面已经有序的序列的数字一一比较找到自己合适的位置,插入到序列中,直到全部数据插入完成。 二、希尔排序   先将整个待排元素序...

02/25 10:17
20

没有更多内容

加载失败,请刷新页面

返回顶部
顶部