文档章节

Scala 获取一个url的内容存到本地文件

BruceGao
 BruceGao
发布于 2015/02/05 17:25
字数 129
阅读 1643
收藏 2
点赞 0
评论 0

1, 下载有效url的内容

/**
	 * 获取一个有效的url地址的内容存到本地的本件中
	 * @param url
	 * @param file
	 */
	def downloadUrlFile(url: String, file: String) = {
		
		val pw = new PrintWriter(file)

		pw.write(Source.fromURL(url, "utf-8").mkString)

	}



© 著作权归作者所有

共有 人打赏支持
BruceGao

BruceGao

粉丝 4
博文 14
码字总数 2472
作品 0
浦东
高级程序员
eclipse构建maven+scala+spark工程

本文先叙述如何配置eclipse中maven+scala的开发环境,之后,叙述如何实现Spark的本地运行。最后,成功运行scala编写的spark程序。 刚开始我的eclipse+maven环境是配置好的。 系统:win7 ecli...

闪电
2016/06/19
130
0
Spark中常用工具类Utils的简明介绍

《深入理解Spark:核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK:核心思想与源码分析》一书正式出版上市 《深入理解Spark:核心思想与源码分析》一书第一章的内容请看链接《第...

beliefer
2016/03/16
0
0
iOS-沙盒相关

数据本地化:把拿到的数据,存到应用的沙盒里面[方式1:直接写入本地 方式2:sqlite(数据库);CoreData;NSUserDefaultes(属性列表); (归结档不算)] 沙盒:每个iOS应用程序都会为自己创建一个文件...

KevinEmily
2016/07/17
22
0
《Spark高级数据分析》ChapterII 读书笔记

Chapter II 用Scala和Spark进行数据分析 前言 练习的平台是在三台主机组成的服务器上搭建Spark集群,同时安装Jupyter Notebook以及加载了spark内核,然后在自己电脑的windows浏览器中访问jup...

qq_32108329
2017/06/06
0
0
爬取微信文章的小代码写入一个本地网页时需要注意声明html文档编码

<meta http-equiv="content-type" content="txt/html; charset=utf-8" /> 写入一个新的html页时一定要在head标签里加上声明文档编码,不然简体字乱码 import urllib.request import re impo......

Lnnjoy
06/09
0
0
配置hadoop+pyspark环境

配置hadoop+pyspark环境 1、部署hadoop环境 配置hadoop伪分布式环境,所有服务都运行在同一个节点上。 1.1、安装JDK 安装jdk使用的是二进制免编译包,下载页面 下载jdk 解压文件,配置环境变...

巴利奇
06/25
0
0
cloud foundry 默认文件路径列表

本文致力于列一份cloudfoundry默认的文件分布路径列表,方便大家查询。 vcap代码:/root/cloudfoundry/vcap config文件:/root/cloudfoundry/.deployments/devbox/config log:/root/cloudfo...

长平狐
2012/08/24
198
0
使用 Git上传代码到远程代码仓库详解

1.生成ssh 在电脑桌面上右键,选择Git Bash Here,进入操作界面,输入ssh-keygen -t rsa -C “username@example.com”(注:此处填写的是注册coding时绑定的邮箱,第一个易错点,引号要使用汉...

菜鸟东哥
07/02
0
0
spark python编程

spark应用程序结构 Spark应用程序可分两部分:driver部分和executor部分初始化SparkContext和主体程序 A:driver部分 driver部分主要是对SparkContext进行配置、初始化以及关闭。初始化Spark...

张欢19933
2016/02/22
165
0
Spark的python编程-初步理解

spark应用程序结构 Spark应用程序可分两部分:driver部分和executor部分初始化SparkContext和主体程序。 A:driver部分 driver部分主要是对SparkContext进行配置、初始化以及关闭。初始化Spa...

openthings
2016/03/03
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

shell中的函数、shell中的数组、告警系统需求分析

shell中的函数 格式: 格式: function f_name() { command } 函数必须要放在最前面 示例1(用来打印参数) 示例2(用于定义加法) 示例3(用于显示IP) shell中的数组 shell中的数组1 定义数...

Zhouliang6
56分钟前
2
0
用 Scikit-Learn 和 Pandas 学习线性回归

      对于想深入了解线性回归的童鞋,这里给出一个完整的例子,详细学完这个例子,对用scikit-learn来运行线性回归,评估模型不会有什么问题了。 1. 获取数据,定义问题     没有...

wangxuwei
今天
1
0
MAC安装MAVEN

一:下载maven压缩包(Zip或tar可选),解压压缩包 二:打开终端输入:vim ~/.bash_profile(如果找不到该文件新建一个:touch ./bash_profile) 三:输入i 四:输入maven环境变量配置 MAVEN_HO...

WALK_MAN
今天
0
0
33.iptables备份与恢复 firewalld的9个zone以及操作 service的操作

10.19 iptables规则备份和恢复 10.20 firewalld的9个zone 10.21 firewalld关于zone的操作 10.22 firewalld关于service的操作 10.19 iptables规则备份和恢复: ~1. 保存和备份iptables规则 ~2...

王鑫linux
今天
2
0
大数据教程(2.11):keeperalived+nginx高可用集群搭建教程

上一章节博主为大家介绍了目前大型互联网项目的系统架构体系,相信大家应该注意到其中很重要的一块知识nginx技术,在本节博主将为大家分享nginx的相关技术以及配置过程。 一、nginx相关概念 ...

em_aaron
今天
1
0
Apache Directory Studio连接Weblogic内置LDAP

OBIEE默认使用Weblogic内置LDAP管理用户及组。 要整理已存在的用户及组,此前办法是导出安全数据,文本编辑器打开认证文件,使用正则表达式获取用户及组的信息。 后来想到直接用Apache Dire...

wffger
今天
2
0
HFS

FS,它是一种上传文件的软件。 专为个人用户所设计的 HTTP 档案系统 - Http File Server,如果您觉得架设 FTP Server 太麻烦,那么这个软件可以提供您更方便的档案传输系统,下载后无须安装,...

garkey
今天
1
0
Java IO类库之BufferedInputStream

一、BufferedInputStream介绍 /** * A <code>BufferedInputStream</code> adds * functionality to another input stream-namely, * the ability to buffer the input and to * sup......

老韭菜
今天
0
0
STM 32 窗口看门狗

http://bbs.elecfans.com/jishu_805708_1_1.html https://blog.csdn.net/a1985831055/article/details/77404131...

whoisliang
昨天
1
0
Dubbo解析(六)-服务调用

当dubbo消费方和提供方都发布和引用完成后,第四步就是消费方调用提供方。 还是以dubbo的DemoService举例 -- 提供方<dubbo:application name="demo-provider"/><dubbo:registry address="z...

青离
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部