加载中
spark介绍

以SparkContext为程序运行的总入口,在SparkContext的初始化过程中,Spark会分别创建DAGScheduler作业调度和TaskScheduler任务调度两级调度模块。作业调度模块为每个Spark作业计算具有依赖关...

2017/05/18 18:54
85
python的几种有用的函数 itertools库

import itertools b = [('a', -1), ('b', 'b1'), ('c', 'cs')] #笛卡尔积 list(itertools.product(*b)) [('a', 'b', 'c'), ('a', 'b', 'cs'), ('a', 'b1', 'c'), ('a', 'b1', 'cs'), ...

2017/01/22 14:43
11
spark dataframe 新增列

往往对df增加列是比较常见的操作,df合并,转rdd之类的操作 有下面几种方式: import org.apache.spark.sql.functions._ 1、如果增加的列是基于df列的变化 //新增一列以oldColName * 2 为新...

ubuntu16.04 安装 搜狗输入法

首先搜狗输入法是依赖fcitx的 安装 sudo dpkg -i sogoupinyin_2.1.0.0082_amd64.deb 错误信息: dpkg: 依赖关系问题使得 sogoupinyin 的配置工作不能继续: sogoupinyin 依赖于 libopencc2...

2017/01/11 15:13
348

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部