文档章节

The  root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are : rw-rw-rw-

自由的开源
 自由的开源
发布于 2017/05/04 15:39
字数 286
阅读 157
收藏 0

Caused by: java.lang.reflect.InvocationTargetException: java.lang.reflect.Invoca
tionTargetException: java.lang.RuntimeException: java.lang.RuntimeException: The
 root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are
: rw-rw-rw-
  at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
  at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAcce
ssorImpl.java:62)
  at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstru
ctorAccessorImpl.java:45)
  at java.lang.reflect.Constructor.newInstance(Constructor.java:408)
  at org.apache.spark.sql.internal.SharedState$.org$apache$spark$sql$internal$Sh
aredState$$reflect(SharedState.scala:166)
  ... 71 more
Caused by: java.lang.reflect.InvocationTargetException: java.lang.RuntimeExcepti
on: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should b
e writable. Current permissions are: rw-rw-rw-
  at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
  at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAcce
ssorImpl.java:62)
  at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstru
ctorAccessorImpl.java:45)
  at java.lang.reflect.Constructor.newInstance(Constructor.java:408)
  at org.apache.spark.sql.hive.client.IsolatedClientLoader.createClient(Isolated
ClientLoader.scala:264)
  at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:3
58)
  at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:2
62)
  at org.apache.spark.sql.hive.HiveExternalCatalog.<init>(HiveExternalCatalog.sc
ala:66)
  ... 76 more
Caused by: java.lang.RuntimeException: java.lang.RuntimeException: The root scra
tch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw
-
  at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)

  at org.apache.spark.sql.hive.client.HiveClientImpl.<init>(HiveClientImpl.scala
:188)
  ... 84 more
Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS s
hould be writable. Current permissions are: rw-rw-rw-
  at org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionSta
te.java:612)
  at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionSta
te.java:554)
  at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:508)

  ... 85 more
<console>:14: error: not found: value spark
       import spark.implicits._
              ^
<console>:14: error: not found: value spark
       import spark.sql
              ^
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.1.1
      /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_25)
Type in expressions to have them evaluated.

© 著作权归作者所有

自由的开源
粉丝 4
博文 27
码字总数 6366
作品 0
南京
高级程序员
私信 提问
加载中

评论(5)

t
tianqing_525

引用来自“dolphinzhang”的评论

最近遇到相同的问题
按照这个链接的地址操作是可以解决的,刚开始有问题是因为winutils.exe有问题,换成64位的之后重新执行winutils.exe chmod 777 E:/tmp/hive 解决该问题,前面4个步骤能解决该问题:
http://letstalkspark.blogspot.com/2016/02/getting-started-with-spark-on-window-64.html
t
tianqing_525

引用来自“自由的开源”的评论

果断放弃,使用linux吧
这里有jira里面的说明,也没有什么用
https://issues.apache.org/jira/browse/SPARK-10528
按照这个链接的地址操作是可以解决的,刚开始有问题是因为winutils.exe有问题,换成64位的之后重新执行winutils.exe chmod 777 E:/tmp/hive 解决该问题,前面4个步骤能解决该问题:
http://letstalkspark.blogspot.com/2016/02/getting-started-with-spark-on-window-64.html
自由的开源
自由的开源 博主
使用linux虚拟机
zhangshushu
zhangshushu
最近遇到相同的问题
自由的开源
自由的开源 博主
果断放弃,使用linux吧
这里有jira里面的说明,也没有什么用
https://issues.apache.org/jira/browse/SPARK-10528
dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------

java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------ at org.apache.hadoop.hive.......

天池番薯
2016/12/14
388
0
The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------

ugi=root ip=unknown-ip-addr cmd=get_functions: db=default pat=* 16/12/16 17:10:30 INFO Datastore: The class "org.apache.hadoop.hive.metastore.model.MResourceUri" is tagged as "e......

天池番薯
2016/12/16
619
0
storm-hive本地模式运行topology时,hive文件夹在本地建立而不是集群

新手实验storm-hive插件的使用遇到下面的问题: 代码: 连接的远程集群,结果,创建文件却在本地计算机,请问该怎么修改呢? 重新建立maven项目后,运行topo 报错: java.lang.RuntimeExcep...

goldenMoon
2017/09/06
524
1
hadoop大数据学习常用命令总结

hadoop大数据学习常用命令总结。 .每台服务器需要关闭防火墙 systemctl daemon-reload(masterJ节点) systemctl stop firewalld .删除文件夹 mkdir /opt/tmp rm -fr /usr/hadoop/name rm -fr ...

xzg1109的专栏
2017/12/19
0
0
大数据之---hadoop常用命令大全终极篇

软件环境 (操作环境root安装启动的hadoop) hadoop fs == hdfs dfs 将文件上传至hadoop的根目录/下载至本地 hadoop dfs -put filename / hadoop dfs -get /filename # '/'不是Linux的根目录,......

ycwyong
2018/05/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

NIO基于长度域的报文在Netty下的解码

1, 先复习一下粘包/拆包 1.1, 粘包/拆包的含义 TCP是个“流”协议, 并不了解上层业务数据的具体含义, 它会根据TCP缓冲区的实际情况进行包的划分,所以在业务上认为,一个完整的包可能会被TCP...

老菜鸟0217
今天
8
0
从零开始搭建spring-cloud(2) ----ribbon

在微服务架构中,业务都会被拆分成一个独立的服务,服务与服务的通讯是基于http restful的。Spring cloud有两种服务调用方式,一种是ribbon+restTemplate,另一种是feign。 其实我们已经在上...

Vincent-Duan
今天
19
0
get和post的区别?

doGet:路径传参。效率高,安全性差(get的传送数据量有限制,不能大于2Kb) doPOST:实体传参。效率低,安全性好 建议: 1、get方式的安全性较Post方式要差些,包含机密信息的话,建议用Pos...

花无谢
昨天
4
0
当谈论迭代器时,我谈些什么?

当谈论迭代器时,我谈些什么? 花下猫语:之前说过,我对于编程语言跟其它学科的融合非常感兴趣,但我还说漏了一点,就是我对于 Python 跟其它编程语言的对比学习,也很感兴趣。所以,我一直...

豌豆花下猫
昨天
14
0
10天学Python直接做项目,我做了这5件事

初学者如何尽快上手python? 市面上关于如何学python的资料很多,但是讲的都太复杂。 我就是很简单的几句话,从小白到开发工程师,我只做了五件事。 我觉得任何商业计划书如果不能用几句话讲...

Python派森
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部