加载中
《Hadoop大明白》【3】pyspark调用自定义jar

from py4j.java_gateway import java_import java_import(sc._gateway.jvm,"com.xx.hadoop.report.x") func = sc._gateway.jvm.myclass() sql = "select * from mydata" print sql func.myfu...

2019/01/08 20:00
372
《Hadoop大明白》【2】pyspark的应用场景

1,python的码农涉猎Hadoop,首选pyspark 2,开发spark应用,需要知道的几个点: 【1】SQL语句:insert into / overwirte 【2】DataFrame的常用API 【3】UDF函数 【4】Kafka组件使用 【5】A...

《Hadoop大明白》【1】Hadoop的核心组件

本书适用于想对大数据平台Hadoop有深入了解的程序员朋友,会帮助你以后在应用开发方面趟平一些坑。 1,Hadoop 是一个系列大数据组件构成的应用平台,可由多个廉价机器搭建集群,提供分布式存...

CDH-pyspark应用场景警告和错误

18/11/16 08:33:34 ERROR client.TransportResponseHandler: Still have 4 requests outstanding when connection from /100.66.0.1:52752 is closed18/11/16 08:33:34 ERROR spark.ContextC...

多语言开发的万金油

游走在java/c++,c++/golang,python/scala,js/php,这些变化莫测的开发选择的时候,如何做到头脑清晰? 我的经验是,目中无语言,手里小本本。 1,这些语言我都曾多少实际操作过项目,但能记...

2018/06/17 17:49
93
blockChain - compile

go跨平台编译,开关 【1】 //+build !windows package netutil 【2】 //+build windows package netutil

2018/05/18 08:41
100
blockChain - upnp & nat-pmp

<upnp> 常见的NAT穿透方法比如UDP打洞,或者STUN协议,但是这些方法都需要另一个已知的部署在公网环境下的服务器。 不需要部署任何公网环境下的服务器,通过路由器支持的UPnP协议来把内网的接...

2018/05/17 22:25
808
go-ide-select

IDE

2018/01/31 15:24
57

没有更多内容

加载失败,请刷新页面

返回顶部
顶部