Spark调优秘诀

1.诊断内存的消耗 在Spark应用程序中,内存都消耗在哪了? 1.每个Java对象都有一个包含该对象元数据的对象头,其大小是16个Byte。由于在写代码时候,可能会出现这种情况:对象头比对象本身占...

2018/06/14 22:21
29
MR的shuffle和Spark的shuffle之间的区别

mr的shuffle mapShuffle 数据存到hdfs中是以块进行存储的,每一个块对应一个分片,maptask就是从分片中获取数据的 在某个节点上启动了map Task,map Task读取是通过k-v来读取的,读取的数据会放...

2018/06/14 23:41
101
一个Spark job的生命历程

一个job的生命历程 dagScheduler.runJob //(1) --> submitJob ( eventProcessLoop.post(JobSubmitted,***) //(2) --> eventProcessLoop //(3) --> onReceive(event: DA...

[ Python入门教程 ] Python面向对象编程(上)

Python不仅支持面向过程编程,同时也支持面向对象编程。面向过程就是分析解决问题所需的步骤,然后用函数把这些步骤逐一实现,使用的时候再一个个调用函数就可以。面向对象则是把解决的问题按...

def
2018/06/16 08:44
51
AttributeError: module 'pip' has no attribute 'main'问题解决

Mac平台下找到packaging_tool.py(如果其他平台可以按报错查这个文件目录及文件。) URL:/Applications/PyCharm.app/Contents/helpers/packaging_tool.py 好久没打开PyCharm创建项目了,今天...

2018/06/15 14:34
38
【多线程系列】AQS CAS简单介绍

一、什么是CAS CAS(Compare And Swap),即比较并交换。是解决多线程并行情况下使用锁造成性能损耗的一种机制,CAS操作包含三个操作数——内存位置(V)、预期原值(A)和新值(B)。如果内存位...

2018/06/15 10:05
24
如何为你的博客文章自动添加版权信息?

转自:http://www.chinaz.com/web/2016/0616/541282.shtml https://www.feifanblog.com/ 好长时间没有分享关于网络技术的文章了,昨天有位朋友问我:“你博客每篇文章末尾的版权声明都是我自己...

php
2018/06/15 09:38
27
获取用户当前位置信息的两种方法——H5、微信

在之前的 调用百度地图API的总结 中获取当前位置信息我用的是 H5 ,其实微信也提供了获取用户地理位置的方法,现将这两种方法都贴出来,看情况选择使用。 一、H5 获取当前地理位置得到经纬度...

2018/06/15 11:38
171
从微软官网下载VS2015(2016年8月25日)

百度:微软中国官网 进入官网,菜单项:产品->适用于开发人员和 IT 专业人士->Visual Studio 菜单项:下载->所有下载 新页面,向下拖动滚轮,直到图二箭头所指的:Visual Studio 2015 打开V...

2018/06/15 10:26
7
关于实现android状态栏沉浸的几种方法

方法一 转载自:https://blog.csdn.net/zephyr_g/article/details/53489320 步骤一: 首先,我们先在values下的style中加入如下代码: <!-- Base application theme. --> <style name...

2018/06/15 10:14
21
文件读取错误UnicodeDecodeError: 'utf-8' codec can't decode byte 0x92 in position 884: inval...

参考: https://segmentfault.com/q/1010000004268196/a-1020000004269556 ubuntu下Python3使用open('filename', 'r').read()读取 .txt 文件时抛出异常: UnicodeDecodeError: 'utf-8' codec...

2018/06/15 09:19
633
十年了,回顾一路走来的测试

转载:http://www.51testing.com/html/80/n-3726480.html   最近公司有较大变动,所以打算找新的工作机会,把自己封了两年多的简历又开放出来刷了刷。   恰好碰到了一个做自动化测试的大...

2018/06/15 09:58
8
iOS 代码混淆--pch实现

之前实现代码的混淆一般是使用sh脚本,不过也是需要把一写需要混淆的方法写到一个文件中(除非是使用特定的命名规范统一混淆), 现在发现,实现代码的混淆pch 文件就可以轻松完成! 1,在新...

ios
2018/06/14 22:39
31
替代crontab,任务计划统一集中管理系统cronsun简介

一、背景 crontab 是 Linux 系统里面最简单易用的定时任务管理工具,相信绝大多数开发和运维都用到过。在咱们公司,很多业务系统的定时任务都是通过 crontab 来定义的,时间长了后会发现存在...

2018/06/15 11:13
109
jar包的启动和停止脚本

启动: #!/bin/sh PIDFILE="/app/eureka/eureka.pid" LOGFILE="/app/eureka/out.log" if [ -f "$PIDFILE" ] && kill -0 $(cat "$PIDFILE"); then echo "eureka is already running..." exit ...

2018/06/14 22:34
253
pytorch 学习问题

https://pytorch.org/tutorials/beginner/blitz/neural_networks_tutorial.html#sphx-glr-beginner-blitz-neural-networks-tutorial-py 概述: (1) torch.Tensor——多维数组 (2) autogr...

2018/06/15 15:00
3
第一章、python学习大纲

一、Linux基础 .计算机以及日后我们开发的的程序放置到服务器上的简单操作,通俗的讲:就是我们开发完成后的程序,怎么样放置到LINUX服务器上。 二、Python开发 1.参考博客 https://www.cnbl...

bzoj 4242 水壶 (多源最短路+最小生成树+启发式合并)

4242: 水壶 Time Limit: 50 Sec Memory Limit: 512 MB Submit: 1028 Solved: 261 [Submit][Status][Discuss] Description JOI君所居住的IOI市以一年四季都十分炎热著称。 IOI市是一个被分成纵...

2018/06/14 21:26
94
函数式编程——惰性链

概述 这是我读《javascript函数式编程》时,对链式编程的总结与思考,供以后开发时参考,相信对其他人也有用。 chain 在jquery和underscore里面,它们的内建对象$和_的方法通常会返回一个thi...

2018/06/14 22:37
21
rabbitmq系列一 之简单队列

1、 rabbitmq简介   rabbitmq是一个消息代理,或者讲是一个消息中间件。主要是用来接收和转发信息的,它是对消息不做任何处理的。MQ是消费-生产者模型的一个典型的代表,一端往消息队列中不...

2018/06/14 21:11
20

没有更多内容

加载失败,请刷新页面