加载中
Spark初步 从wordcount开始

Spark初步-从wordcount开始 spark中自带的example,有一个wordcount例子,我们逐步分析wordcount代码,开始我们的spark之旅。 准备工作 把README.md文件复制到当前的文件目录,启动jupyter,...

2019/03/29 17:45
0
CDH中搭建Spark遇见的错误

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/ FSDataInputStream export SPARK_DIST_CLASSPATH=$(hadoop classpath) 还需要配置上 : Spark 启动java....

2019/03/28 22:31
18
Spark 基本函数学习笔记一

Spark 基本函数学习笔记一¶ spark的函数主要分两类,Transformations和Actions。 Transformations为一些数据转换类函数,actions为一些行动类函数: 转换:转换的返回值是一个新的RDD集合,...

def
2019/04/04 17:49
7
大数据从哪里来?

现代商业市场是一个数据驱动的环境,可以说不论技术怎么更新换代,数据都有着不可替代的地位,而且抛开数据谈大数据就是瞎扯,没有数据作支撑的大数据平台就是一个空壳。无论是公司内部的数据...

渗透基础流程思路丶技巧丶与总结

---------信息收集方面: 1.探测网站脚本 cms识别 站长工具SEO综合查询获取服务器ip 搭建平台 同服网站 whois nmap探测开放端口 御剑大字典扫目录 扫网站备份文件 北极熊扫描 谷歌后台 子域名...

2019/04/02 11:05
8
Hadoop 生产配置文件V2

Hadoop 生产配置文件V2 生产环境的配置文件调优 !!! Apache Hadoop 2.7.3 && NN HA && RM HA且仅针对于HDFS && Yarn 本身配置文件,不包括Gc 等其他单独角色调优 ,可供与参考或者直接使用。...

2019/04/03 17:10
33
浅谈数据同步之道

数据同步,顾名思义就是不同系统的数据进行同步处理。而业务系统所涉及的数据库同步是重中之重,虽然大部分数据库都提供了导入导出的工具,但是数据存储到各个地方,Hive、Hbase、MySQL、Ora...

2019/03/30 19:06
51
性能测试工具 wrk 使用教程

文章首发自个人微信公众号:小哈学Java 个人网站地址:https://www.exception.site/wrk 被面试官经常问到之前开发的系统接口 QPS 能达到多少,经常给不出一个数值,支支吾吾,导致整体面试效...

2019/04/06 14:24
84
Java加密算法

密码的常用术语:   1.密码体制:由明文空间、密文空间、密钥空间、加密算法和解密算法5部分组成。   2.密码协议:也称为安全协议,是指以密码学为基础的消息交换的通信协议,目的是在网...

2019/03/30 16:02
25
RocketMQ入门案例

  学习RocketMQ,先写一个Demo演示一下看看效果。 一、服务端部署   因为只是简单的为了演示效果,服务端仅部署单Master模式 —— 一个Name Server节点,一个Broker节点。主要有以下步骤...

linux php-cli 与 php-fpm 没有用同一个php.ini 的问题

1.查找系统里PHP相关的目录或文件 find / -name php /var/lib/php /usr/bin/php /usr/lib64/php /usr/share/swig/2.0.10/php /usr/share/php /usr/include/php-zts/php /usr/include/php /u...

【Linux】YUM源搭建

YUM是什么? YUM是什么   基于rpm但更胜于rpm的软件管理工具; YUM有服务端和客户端;   如果服务端和客户端在同一台机器,这是本地YUM;   如果服务端和客户端不在同一台机器,这是网...

2019/04/10 20:01
10
数据库的简介与类型

1.1 什么是数据库? 简单的说,数据库(英文Dtabase)就是一个存放数据的仓库,这个仓库是按照一定的数据结果(数据结构是指数据的组织形式或数据之间的联系)来组织、存储的、我们可以通过数...

2019/01/28 13:53
12
.NET Core之只是多看了你一眼

感官初体验 技术学习是一件系统性的事情,如果拒绝学习,那么自己就会落后以至于被替代。.NET也是一样,当开源、跨平台成为主流的时候,如果再故步自封,等待.NET的就是死路一条,幸好.NET ...

2019/03/28 18:03
6
mybatis笔记01

[toc] 1. Mybatis的介绍 MyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code,并且改名为MyBatis 。2013年11月迁移到Github。MyBat...

2019/04/09 14:26
14
Software Architecture Pattern(Mark Richards)笔记

软件架构模式 缺少规范架构的程序通常会变得紧耦合、脆弱、难以更改,缺少清晰的发展方向和愿景。这本小书用50多页介绍了常用的5种常见架构模式,相信不管是大牛还是萌新都会有所收获,特别是...

支付宝架构师眼中的高并发架构

阅读本文大概需要 11.4 分钟。 来源:my.oschina.net/u/3772106/blog/1793561 前言 高并发经常会发生在有大活跃用户量,用户高聚集的业务场景中,如:秒杀活动,定时领取红包等。 为了让业务...

2019/04/13 09:28
8

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部